[論文レビュー] Semantic Amodal Segmentation

Yan Zhu, Yuandong Tian+2 more|arXiv (Cornell University)|Sep 4, 2015

Advanced Neural Network Applications参考文献 41被引用数 9

ひとこと要約

本稿では、画像内の物体の可視領域および隠れた領域を含めたアノテーションに加え、部分的な奥行き順序を含む、視覚認識の新しいタスク「意味的アモダールセグメンテーション」を紹介する。2つの大規模データセット（BSDSから500枚、COCOから5,000枚）を用い、モダールセグメンテーションネットワークを拡張した深層学習モデルにより、アモダールマスクと奥行き順序を予測する強力なベースラインを確立した。これにより、ペアワイズの奥行き順序予測で80％以上の精度を達成し、重度の隠蔽状態下でも顕著な性能向上が得られた。

ABSTRACT

Common visual recognition tasks such as classification, object detection, and semantic segmentation are rapidly reaching maturity, and given the recent rate of progress, it is not unreasonable to conjecture that techniques for many of these problems will approach human levels of performance in the next few years. In this paper we look to the future: what is the next frontier in visual recognition? We offer one possible answer to this question. We propose a detailed image annotation that captures information beyond the visible pixels and requires complex reasoning about full scene structure. Specifically, we create an amodal segmentation of each image: the full extent of each region is marked, not just the visible pixels. Annotators outline and name all salient regions in the image and specify a partial depth order. The result is a rich scene structure, including visible and occluded portions of each region, figure-ground edge information, semantic labels, and object overlap. We create two datasets for semantic amodal segmentation. First, we label 500 images in the BSDS dataset with multiple annotators per image, allowing us to study the statistics of human annotations. We show that the proposed full scene annotation is surprisingly consistent between annotators, including for regions and edges. Second, we annotate 5000 images from COCO. This larger dataset allows us to explore a number of algorithmic ideas for amodal segmentation and depth ordering. We introduce novel metrics for these tasks, and along with our strong baselines, define concrete new challenges for the community.

研究の動機と目的

• 可視領域および隠れた領域の両方をアノテーションする新しい視覚認識タスク「意味的アモダールセグメンテーション」を定義・研究すること。
• 500枚のBSDS画像を用いたアノテータ間の一貫性を評価することで、アモダールセグメンテーションが隠れた領域や図背景境界においても一貫的かつ適切に定式化されたアノテーションタスクであるかを検証すること。
• 5,000枚のCOCO画像から成る大規模かつ高品質なデータセットを構築し、アモダールマスクと奥行き順序を含め、アルゴリズムの評価を可能にすること。
• アモダールマスク品質およびペアワイズ奥行き順序のための新しい評価指標を開発すること。
• アモダールセグメンテーションおよび奥行き予測のための強力な深層学習ベースラインを訓練・ベンチマーク化し、コミュニティに新たな挑戦を提示すること。

提案手法

• アノテータが画像内の顕著な領域の全範囲（隠れた部分を含む）を手動でアウトラインし、セマンティックラベルと部分的な奥行き順序を割り当てる。
• 2つのデータセットを構築：1つは複数のアノテータがアノテートした500枚のBSDS画像（一貫性の検証用）、もう1つは熟練アノテータが品質管理を施してアノテートした5,000枚のCOCO画像（大規模評価用）。
• アモダールマスク品質（例：平均リ call）およびペアワイズ奥行き順序精度のための新しい評価指標を提案。
• 既存のモダールセグメンテーションネットワーク（例：SharpMask）を拡張し、2つのアモダールバージョンを提案：AmodalMask（直接アモダール予測）とExpandMask（モダールマスクからの拡張）。
• 2つの重なったマスクのうちどちらが前面にあるかを予測する二値分類タスクとして奥行き順序予測用の深層ネットワークを訓練。入力特徴としてバウンディングボックス、マスク、または画像パッチを用いる。
• COCOで事前学習済みのモダールセグメンテーションネットワークから初期化し、アモダール学習セットで微調整することで、トランスファー学習を活用。

実験結果

リサーチクエスチョン

• RQ1 アノテータ間の一貫性は、特に隠れた領域や図背景境界において、アモダールセグメンテーションタスクとして一貫していると言えるか？
• RQ2 深層学習モデルは、モダールセグメンテーションモデルが達成できる範囲をはるかに超えて、重度の隠蔽状態下でもアモダールマスクを効果的に一般化して予測できるか？
• RQ3 学習済みモデルは、重なった物体間の正しい奥行き順序をどの程度正しく予測できるか？また、マスク品質はこの性能にどの程度影響を与えるか？
• RQ4 実際のアモダールアノテーションと比較して、合成データ拡張を用いる場合、モデルの一般化性能および性能にどのような差が生じるか？
• RQ5 セマンティックラベルは、アモダールアノテーションの品質および一貫性にどのような影響を与えるか？

主な発見

• アノテータ間の一貫性は予想に反して高く、特に領域と境界の一致度が元のBSDSデータセットを上回っている。
• アモダールセグメンテーションベースライン（AmodalMaskとExpandMask）は、モダール対比で顕著な性能向上を示しており、特に重度の隠蔽状態下で顕著である。
• 実際のアモダール学習データを用いることで、合成データ拡張よりも優れた性能が得られ、合成データは依然として実データに劣るが、モダールベースラインを上回る。
• ペアワイズ奥行き順序予測モデル（OrderNet M+I）は、生成マスクでは約80％、正解マスクでは90％の精度を達成し、優れた一般化性能を示している。
• マスク品質が奥行き順序予測性能に強く影響しており、正解マスクと予測マスクのIoUが高くなるほど、奥行き予測の精度も向上する。
• 人間のアモダールセグメンテーション性能は現在のモデル性能を大きく上回っており、今後の研究における顕著な未解決課題であることが示された。