[論文レビュー] Explicit Shape Encoding for Real-Time Instance Segmentation

Wenqiang Xu, Haiyang Wang+2 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Neural Network Applications参考文献 37被引用数 11

ひとこと要約

本稿では、内側基準半径（IR）署名を用いた明示的形状符号化とチェビシェフ多項式フィッティングにより、コン pact なベクトルとしての形状を回帰する、リアルタイムインスタンスセグメンテーションフレームワーク ESE-Seg を提案する。これらのベクトルは単純なテンソル演算により復号可能であり、ESE-Seg はオブジェクト検出に匹敵する速度を達成し、Mask R-CNN よりも 7 倍高速である一方、Pascal VOC 2012 における mAP@0.5 でそれを上回る。

ABSTRACT

In this paper, we propose a novel top-down instance segmentation framework based on explicit shape encoding, named extbf{ESE-Seg}. It largely reduces the computational consumption of the instance segmentation by explicitly decoding the multiple object shapes with tensor operations, thus performs the instance segmentation at almost the same speed as the object detection. ESE-Seg is based on a novel shape signature Inner-center Radius (IR), Chebyshev polynomial fitting and the strong modern object detectors. ESE-Seg with YOLOv3 outperforms the Mask R-CNN on Pascal VOC 2012 at mAP$^r$@0.5 while 7 times faster.

研究の動機と目的

• インスタンスセグメンテーションの高い計算コスト、特に個々のマスクヘッド推論にかかる高額なコストを軽減すること。
• 高価なマスクヘッドネットワークを効率的な形状復号に置き換えることで、インスタンスセグメンテーションの推論時間をオブジェクト検出と同等に短縮すること。
• コンパクトでノイズに強く、単純な演算により高速かつ微分可能に復号可能な形状表現を開発すること。
• 最新のオブジェクト検出器と統合したエンドツーエンド学習を可能にしつつ、高い精度とリアルタイム推論速度を維持すること。
• YOLOv3、Faster R-CNN、RetinaNet、YOLOv3-tiny を含む、複数のバックボーン検出器にわたる汎用性を実証すること。

提案手法

• 内側基準点（inner-center point）を基準として、物体境界点を極座標にマッピングする輪郭ベースの表現である「内側基準半径（IR）」形状署名を導入する。
• 角度 θ における半径関数 f(θ) として IR 関数を表現し、パラメトリックな形状モデリングを可能にする。
• f(θ) を小さな係数ベクトル（例：20 または 40）に圧縮するために、チェビシェフ多項式フィッティングを適用する。これにより、明示的形状コードが形成される。
• 乗算と加算の単純なテンソル演算のみを用いて形状ベクトルを復号し、一度のパスで全インスタンスマスクをバッチ並列に再構築可能にする。
• IoU と形状再構築の最適化を目的関数として用い、トップダウン検出器（例：YOLOv3）がバウンディングボックスと形状係数を同時に回帰するように学習する。
• 形状復号を深層ネットワークから分離し、個々のインスタンスごとに複数回の順伝播を必要としない。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック関数フィッティングによる明示的形状符号化は、精度を損なわずにインスタンスセグメンテーションの計算コストを低減できるか？
• RQ2 他の形状表現（例：頂点座標、マスクベースのオートエンコーダー）と比較して、IR 署名はコンパクト性、ロバスト性、再構築品質において優れているか？
• RQ3 チェビシェフ多項式フィッティングは、正確なマスク予測に必要な識別的情報を保持しつつ、形状関数を効果的に圧縮できるか？
• RQ4 提案手法は、YOLOv3-tiny のような軽量検出器を含む、多様なオブジェクト検出器において、どれほどリアルタイム推論を達成できるか？
• RQ5 特に大規模スケールにおいて、暗黙的でネットワークベースの復号と比較して、明示的復号機構はより高速な推論を実現できるか？

主な発見

• YOLOv3 を用いた ESE-Seg は、Pascal VOC 2012 で 69.3 mAP@0.5 を達成し、同じ ResNet-50 バックボーンを用いた Mask R-CNN（68.5 mAP@0.5）を上回りながら、7 倍高速である。
• Pascal VOC 2012 において、YOLOv3-tiny を用いた ESE-Seg は GTX 1080Ti で 130 FPS を達成し、mAP@0.5 は 53.2% を維持しており、リアルタイム推論の可能性を示している。
• IR 署名へのチェビシェフ多項式フィッティングは優れた性能を示す：IR-Cheby(20) は 62.6 mAP@0.5 を達成し、XY-Cheby(20+20) の 53.1 mAP@0.5 を上回る。
• 本手法は検出器に依存せず汎用性を示す：Faster R-CNN、RetinaNet、YOLOv3-tiny を用いた ESE-Seg は、mAP@0.5 が 53.2% から 65.9% の間で安定したスコアを達成している。
• テンソル演算による明示的復号により、一度のパスで全インスタンスマスクを再構築可能であり、暗黙的手法の逐次的・個々のインスタンスごとの復号のボトルネックを回避している。
• 高い IoU 閾値（例：0.7）では性能が低下する傾向にあり、高精度要件下での形状ベクトル再構築の正確性に限界があることが示唆されている。