[論文レビュー] Unsupervised Foreground Extraction via Deep Region Competition

Peiyu Yu, Sirui Xie+4 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、エネルギーに基づく事前分布と混合専門家（MoE）生成モデルを組み合わせ、画素の再割り当てをインダクティブバイアスとして用いる、完全に教師なしの前景抽出手法であるDeep Region Competition（DRC）を提案する。DRCは期待値最大化（EM）を用いて反復的に前景・背景の分割を改善する領域競合を通じて、複雑な現実世界のシーンおよび複数オブジェクトを含むシーンにおいて最先端の性能を達成し、訓練時に見られなかったオブジェクトカテゴリへのゼロショット一般化を可能にする。

ABSTRACT

We present Deep Region Competition (DRC), an algorithm designed to extract foreground objects from images in a fully unsupervised manner. Foreground extraction can be viewed as a special case of generic image segmentation that focuses on identifying and disentangling objects from the background. In this work, we rethink the foreground extraction by reconciling energy-based prior with generative image modeling in the form of Mixture of Experts (MoE), where we further introduce the learned pixel re-assignment as the essential inductive bias to capture the regularities of background regions. With this modeling, the foreground-background partition can be naturally found through Expectation-Maximization (EM). We show that the proposed method effectively exploits the interaction between the mixture components during the partitioning process, which closely connects to region competition, a seminal approach for generic image segmentation. Experiments demonstrate that DRC exhibits more competitive performances on complex real-world data and challenging multi-object scenes compared with prior methods. Moreover, we show empirically that DRC can potentially generalize to novel foreground objects even from categories unseen during training.

研究の動機と目的

• 既存の手法が手作業で設計された特徴量に依存するか、人為的介入を要する複雑な現実世界の画像における未教師付き前景抽出の課題に対処すること。
• 明示的な監視なしに背景の規則性を捉える汎用的なインダクティブバイアスを構築し、前景オブジェクトの堅牢な分離を可能にすること。
• 混合専門家（MoE）を介してエネルギーに基づく事前分布と生成モデルを統合し、原理的かつ微分可能な前景・背景の分割を実現すること。
• 訓練時に見られなかった新しいオブジェクトカテゴリへのゼロショット一般化を可能にし、従来の弱教師ありまたはGANベースの手法の制限を克服すること。
• 多くの未教師付き手法が曖昧または未割り当てのマスクを出力するのに対し、明示的に前景オブジェクトと背景領域を特定すること。

提案手法

• DRCは、各エキスパートが領域タイプ（前景または背景）を表す混合専門家（MoE）生成モデルとして前景と背景をモデル化する。
• 背景領域の構造的規則性を捉えるために、学習可能な画素再割り当てをキーインダクティブバイアスとして導入し、複雑なテクスチャやパターンに対しても耐性を高める。
• 領域競合にインspiredされた一般化ベイズ基準を用いて、前景・背景の分割を最適化問題として定式化し、期待値最大化（EM）により解く。
• EMの過程では、画素をコンポーネントに割り当てる（Eステップ）と、MoEパラメータを更新する（Mステップ）を交互に繰り返し、コンポーネント間の相互抑制を活用してセグメンテーションを改善する。
• エネルギーに基づく事前分布はエンドツーエンドで学習可能であり、形状・色・テクスチャなどの知覚的ヒントを暗黙的に学習することで分離を可能にする。
• フレームワークは複数オブジェクトセグメンテーションを自然にサポートし、背景を明確に分離されたコンポーネントとして扱うため、解釈可能で分離された出力を得られる。

実験結果

リサーチクエスチョン

• RQ1 混合専門家（MoE）とエネルギーに基づく事前分布を有する深層生成モデルは、人為的アノテーションなしに完全に未教師付きの前景抽出を可能にするか？
• RQ2 明示的な背景データや監視なしに、背景の規則性をインダクティブバイアスとしてどのようにモデル化できるか？
• RQ3 前景と背景のコンポーネントが領域競合を通じて相互作用することで、ごみだらけの背景を有する複雑なシーンにおけるセグメンテーションが向上するか？
• RQ4 モデルは、訓練時に存在しなかった新しいオブジェクトカテゴリに対してどの程度一般化できるか？
• RQ5 提案手法は、多くの先行未教師付き手法とは異なり、明示的かつ解釈可能な形で前景オブジェクトと背景領域を特定するか？

主な発見

• DRCは、Birds、Dogs、Carsなどの複雑な現実世界データセットにおいて最先端の性能を達成し、ReDO、IODINE、Slot-Attentionなどの手法を定量的および定性的に上回る。
• 訓練時に存在しなかったオブジェクトカテゴリに対しても効果的に一般化する。訓練データに含まれない新しいクラスのオブジェクトを含むテストセットでも強い性能を示している。
• TM-dSpritesデータセットでは、複数のオブジェクトを正しくセグメンテーションし、複雑な背景や干渉要因が存在する状況でも明確な前景・背景の分離を維持している。
• Birds、Dogs、Carsデータセットにおける多様なデータ分布にわたる一貫性ある性能から、色・テクスチャ・形状の変動に対して耐性があることが示された。
• テクスチャや照明の変化によって単一のオブジェクトが複数のスロットに分割される失敗事例が観察されたため、今後の研究ではより強力なオブジェクト性モデリングの必要性が示唆された。
• 領域競合なしに事前サンプリングを行うと、より現実的でない、かつうまく分離されていない前景・背景領域が得られるため、領域競合が有効な分離に不可欠であることが示された。