[論文レビュー] Amodal Segmentation Based on Visible Region Segmentation and Shape Prior

Yuting Xiao, Yanyu Xu+4 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 41被引用数 6

ひとこと要約

本論文は、可視領域特徴とカテゴリ固有の形状事前知識を活用して、遮蔽された物体領域を推定する人間の知覚を模倣する、新しい非視認セグメンテーションフレームワークを提案する。可視マスクと非視認マスクの両方を精緻化するためのクロスタスクアテンションと、精緻化および後処理のための形状事前知識の学習済みコードブックを用いることで、3つのデータセットで最先端の性能を達成し、さまざまな遮蔽状況に強く対応していることが示された。

ABSTRACT

Almost all existing amodal segmentation methods make the inferences of occluded regions by using features corresponding to the whole image. This is against the human's amodal perception, where human uses the visible part and the shape prior knowledge of the target to infer the occluded region. To mimic the behavior of human and solve the ambiguity in the learning, we propose a framework, it firstly estimates a coarse visible mask and a coarse amodal mask. Then based on the coarse prediction, our model infers the amodal mask by concentrating on the visible region and utilizing the shape prior in the memory. In this way, features corresponding to background and occlusion can be suppressed for amodal mask estimation. Consequently, the amodal mask would not be affected by what the occlusion is given the same visible regions. The leverage of shape prior makes the amodal mask estimation more robust and reasonable. Our proposed model is evaluated on three datasets. Experiments show that our proposed model outperforms existing state-of-the-art methods. The visualization of shape prior indicates that the category-specific feature in the codebook has certain interpretability.

研究の動機と目的

• 全画像特徴に依存する従来の非視認セグメンテーション手法に生じる曇りの原因となる、異なる遮蔽状況下での一貫性の欠如を解消すること。
• 可視領域に注目し、形状事前知識を活用することで、人間の非視認認識に類似した推論を実現すること。
• アテンション機構と形状事前知識を用いて背景と遮蔽の影響を分離することで、非視認マスク推定の堅牢性と正確性を向上させること。
• 非視認マスク埋め込みの学習済みコードブックを用いて、精緻化および後処理に新たな応用を施すことで、非視認セグメンテーションにおける形状事前知識の新規な利用法を提案すること。

提案手法

• フレームワークはまず、マスクR-CNNバックボーンに非視認マスクヘッドと可視マスクヘッドを別々に搭載し、粗い非視認マスクと可視マスクを予測する。
• クロスタスクアテンション機構は、粗い非視認マスクをアテンションとして用い、可視マスク予測を精緻化する。これにより、可視領域に特徴を集約し、背景や遮蔽の影響を低減する。
• 再分類正則化項は、全画像特徴ではなく可視領域特徴を分類に用いることで、遮蔽による誤分類を低減する。
• 形状事前知識コードブックは、非視認正例マスク埋め込みをK-meansクラスタリングにより処理し、カテゴリ固有の形状パターンを格納する。
• 非視認マスクは、可視領域特徴と形状事前知識コードブックの両方を用いて精緻化され、推論時にはコードブックを用いて低品質な候補をフィルタリングする。
• 本手法は2段階の精緻化を採用する：まず非視認マスクのアテンションを用いて可視マスクを精緻化し、次に精緻化された可視マスクをアテンションとして非視認マスクを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 人間の知覚に類似するように、全画像特徴ではなく可視領域特徴に注目することで、非視認セグメンテーションの性能を向上させられるか？
• RQ2 形状事前知識を効果的に符号化・利用することで、非視認マスク予測の現実性と堅牢性を向上させられるか？
• RQ3 粗い非視認マスクをアテンションとして用いるアテンション機構を用いることで、可視マスク単体よりも優れた非視認セグメンテーションが達成できるか？
• RQ4 非視認形状埋め込みの学習済みコードブックは、一般化性能を向上させるとともに、遮蔽の変動に対する感受性を低減するか？
• RQ5 形状事前知識に基づく後処理は、低品質な非視認マスク予測を効果的にフィルタリングできるか？

主な発見

• 提案手法は、3つの公開データセットで従来の最先端手法を上回り、優れた非視認マスク予測精度を示した。
• 除去分析の結果、非視認マスクヘッドと可視マスクヘッド間の特徴マッチングが性能向上に寄与することを確認し、特徴の整合性学習の利点を裏付けた。
• アテンション解析の結果、非視認マスクの特徴ではなく可視領域特徴をアテンションとして用いることで、より優れた結果が得られ、人間の知覚を模倣した設計の有効性を裏付けた。
• t-SNEを用いたコードブックの可視化により、カテゴリ固有の形状事前知識が学習可能で解釈可能であることが示され、回転などの形状変化がクラスタに反映されていることが確認された。
• 後処理における形状事前知識の利用は、低信頼度の候補をフィルタリングすることで、予測された非視認マスクの品質を顕著に向上させた。
• モデルは、遮蔽の文脈にかかわらず一貫した非視認予測を維持している—例えば、グリーンピースはバナナ、リンゴ、キャベツによって遮られても、同様の非可視領域を認識する—遮蔽状況に対する堅牢性を示した。