[論文レビュー] Amodal Instance Segmentation

Ke Li, Jitendra Malik|arXiv (Cornell University)|Apr 27, 2016

Advanced Neural Network Applications参考文献 26被引用数 14

ひとこと要約

本論文は、標準的なモダリティインスタンスセグメンテーションアノテーションから合成被覆を生成することで、唯一の教師信号としてそれらを使用してトレーニングする、最初のアモダールインスタンスセグメンテーション手法を提示する。この手法は、被覆された画像からアモダールマスクを予測するためのCNNを用い、アモダールバウンディングボックスを推定するための反復的バウンディングボックス拡張（Iterative Bounding Box Expansion）を導入し、PASCAL VOCおよびPASCAL 3D+ベンチマークで最先端の性能を達成した。前人手法と比較して、50%のIoUで11.1ポイントのmAPr向上を達成した。

ABSTRACT

We consider the problem of amodal instance segmentation, the objective of which is to predict the region encompassing both visible and occluded parts of each object. Thus far, the lack of publicly available amodal segmentation annotations has stymied the development of amodal segmentation methods. In this paper, we sidestep this issue by relying solely on standard modal instance segmentation annotations to train our model. The result is a new method for amodal instance segmentation, which represents the first such method to the best of our knowledge. We demonstrate the proposed method's effectiveness both qualitatively and quantitatively.

研究の動機と目的

• 分野の進展を阻害している、公開可能なアモダールセグメンテーションアノテーションの不足に対処すること。
• インスタンスセグメンテーションにおいて、物体の可視部分と被覆部分の両方を予測する手法を開発し、被覆の推論を可能にすること。
• 実際のアモダールアノテーションを必要とせずに、ディープラーニングモデルをアモダールインスタンスセグメンテーション用にトレーニングすること。
• アモダールセグメンテーションヒートマップから、新しい戦略を用いてアモダールバウンディングボックスを推定すること。
• モダリティアノテーションから生成された合成データが、実世界のアモダールセグメンテーションのための有効な代替手段となり得ることを示すこと。

提案手法

• 既知のモダリティインスタンスセグメンテーションマスクを有する画像に合成被覆を適用し、元のマスクをアノテーションとしてのアモダールマスクとするトレーニングデータを生成する。
• モダリティアノテーションのみを教師信号として用い、被覆された画像から元のアモダールマスクを回復するための畳み込みニューラルネットワークをトレーニングする。
• 空間的詳細を保持するためのスキップ接続を備えたU-Netスタイルのアーキテクチャを採用し、正確なアモダールマスク予測を実現する。
• 反復的バウンディングボックス拡張（Iterative Bounding Box Expansion）を導入し、モダリティバウンディングボックスを出発点として、マスクの信頼度に基づいて拡張することで、アモダールバウンディングボックスを推定する。
• テスト時においては、アノテーションとしてのアモダールバウンディングボックスを必要とせず、ヒートマップが拡張をガイドする。
• Faster R-CNNを用いた検出とセグメンテーションのパイプラインに、本手法のフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 標準的なモダリティインスタンスセグメンテーションアノテーションのみを用いて、アモダールインスタンスセグメンテーションを効果的にトレーニングできるか？
• RQ2 トレーニング中に完全な物体を確認せずに、被覆された部分の予測を学習できるか？
• RQ3 モダリティアノテーションから生成された合成被覆データが、実際のアモダールアノテーションの代替として有効に機能するか？
• RQ4 教師信号なしで、アモダールセグメンテーション出力からアモダールバウンディングボックスを予測できるか？
• RQ5 提案手法は、実世界の被覆に一般化可能であり、アモダールセグメンテーションタスクにおいて、最先端のモダリティセグメンテーションモデルを上回る性能を示せるか？

主な発見

• Faster R-CNNと組み合わせた場合、本手法は50%のIoUで45.2の平均領域平均精度（mAPr）を達成し、IISベースラインと比較して11.1ポイント向上した。70%のIoUでは22.6を記録し、IISより8.6ポイント向上した。
• 73%の物体において、本手法が予測するアモダールマスクのIoUが、IISのモダリティマスクよりも高かった。重なり率の改善は最大50%に達した。
• すべてのIoUカットオフにおいて、性能が向上し、IISと比較して精度曲線の下側面積が大きかった。これは一貫した優位性を示している。
• 本手法は実際の被覆に良好に一般化され、微調整なしに、実世界のアモダールデータを用いても、最先端のモダリティ手法を上回る正確なアモダールマスクを生成した。
• アブレーションスタディにより、合成データ生成戦略および反復的バウンディングボックス拡張技術の有効性が確認された。
• 本手法は、PASCAL VOCおよびPASCAL 3D+データセットの両方で最先端の性能を達成し、複雑で関節を持つ物体に対しても強力な一般化能力を示した。