[論文レビュー] TensorMask: A Foundation for Dense Object Segmentation

Xinlei Chen, Ross Girshick+2 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Neural Network Applications参考文献 37被引用数 36

ひとこと要約

TensorMaskは、構造化された4Dテンソルを用いた密なスライディングウィンドウ型のインスタンス分割を導入し、Mask R-CNNと競合する結果を達成し、密なマスク予測の新しい基盤を提供します。

ABSTRACT

Sliding-window object detectors that generate bounding-box object predictions over a dense, regular grid have advanced rapidly and proven popular. In contrast, modern instance segmentation approaches are dominated by methods that first detect object bounding boxes, and then crop and segment these regions, as popularized by Mask R-CNN. In this work, we investigate the paradigm of dense sliding-window instance segmentation, which is surprisingly under-explored. Our core observation is that this task is fundamentally different than other dense prediction tasks such as semantic segmentation or bounding-box object detection, as the output at every spatial location is itself a geometric structure with its own spatial dimensions. To formalize this, we treat dense instance segmentation as a prediction task over 4D tensors and present a general framework called TensorMask that explicitly captures this geometry and enables novel operators on 4D tensors. We demonstrate that the tensor view leads to large gains over baselines that ignore this structure, and leads to results comparable to Mask R-CNN. These promising results suggest that TensorMask can serve as a foundation for novel advances in dense mask prediction and a more complete understanding of the task. Code will be made available.

研究の動機と目的

• マスクを幾何学的構造を持つ4Dテンソルとして扱うことで、密なスライディングウィンドウ型のインスタンス分割のギャップを埋める。
• 密なマスク予測を可能にするために、TensorMask表現と演算子を開発・評価する。
• COCOデータセット上で、密なスライディングウィンドウ手法が領域ベース法と競合する性能を達成できることを示す。

提案手法

• オブジェクトの位置とマスク幾何を捉えるため、(V, U, H, W)形状の構造化4Dテンソルでマスクを表現する。
• 自然表現と整列表現というテンソル表現と、それらの間の座標変換を提案する。
• 大規模オブジェクトには高解像度マスクを、小規模オブジェクトには粗い局所化を組み合わせる、マルチスケールマスクを扱うテンソルバイパイラミッドを導入する。
• 特徴ピラミッドネットワークにマスク予測ヘッドと分類ヘッドを接続し、レベル間で重みを共有する。
• クラス非依存のマスクヘッドと focal loss に基づく分類ヘッドを使用し、訓練にはマスク固有のピクセルごとの二値交差エントロピー損失とIoU似のボックス損失を用いる。
• 自然表現と整列表現、およびアップスケーリング戦略を評価し、基準ヘッドを上回るテンソルバイパイラミッドに至る。

実験結果

リサーチクエスチョン

• RQ1 マスクの4Dテンソル表現を用いて、密なスライディングウィンドウ型のインスタンス分割を効果的に実現できるか。
• RQ2 マスクの幾何学的構造を尊重する表現（自然表現 vs 整列表現）は、非構造化アプローチより改善をもたらすか。
• RQ3 テンソルバイパイラミッドは、計算コストを過度に増やすことなく、スケール全体で高品質のマスクを実現できるか。
• RQ4 COCO上で、マスクAPとボックスAPの観点で、TensorMaskはMask R-CNNとどのように比較されるか。

主な発見

手法	バックボーン	拡張	エポック	AP	AP 50	AP 75	AP S	AP M	AP L
Mask R-CNN [13]	R-50-FPN		24	34.9	57.2	36.9	15.4	36.6	50.8
Mask R-CNN, ours	R-50-FPN		24	34.9	56.8	36.8	15.1	36.7	50.6
Mask R-CNN, ours	R-50-FPN	✓	72	36.8	59.2	39.3	17.1	38.7	52.1
TensorMask	R-50-FPN	✓	72	35.4	57.2	37.3	16.3	36.8	49.3
Mask R-CNN, ours	R-101-FPN	✓	72	38.3	61.2	40.8	18.2	40.6	54.1
TensorMask	R-101-FPN	✓	72	37.1	59.3	39.4	17.4	39.1	51.6

• テンソルバイパイラミッドを用いたTensorMaskは、特徴ピラミッドを用いる基準ヘッドに対してマスクAPを大幅に改善し、15x15マスクで34.0 APを達成し、最良のベースラインに対して最大5.1 APの改善をもたらす（TensorMask対比：特徴ピラミッド）。
• 整列表現を用いたアップスケーリングは大きな利得を生み、特に大きなλにおいて、整列ヘッドは自然ヘッドを最大9.2AP上回る（λ=5で）。
• テンソルバイパイラミッドは、特徴ピラミッド上で最良のベースラインヘッドより約5.1 APの大幅な改善をもたらし、大きなオブジェクトのマスク品質を向上させる（AP Lが7.7上昇）。
• 2つのウィンドウサイズ（15x15と11x11）を用いるテンソルバイパイラムは、さらに約1.2 APの利得をもたらす。
• Mask R-CNNと比較して、ResNet-50/101-FPNおよび訓練スケジュールを用いたTensorMaskは、COCO test-devで競合的な結果を達成し、特定のマスクとボックスAPは優れたベースラインと互換性がある。