[論文レビュー] Promising or Elusive? Unsupervised Object Segmentation from Real-world Single Images

Yan Yang, Bo Yang|arXiv (Cornell University)|Oct 5, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、合成データセットでは優れた性能を示すにもかかわらず、現実世界の画像では既存の自己教師付きオブジェクトセグメンテーションモデルがなぜ失敗するのかを調査する。著者らは、外見および幾何的バイアスを測る4つの定量的複雑要因を導入し、モデルの帰納的バイアスと現実世界のオブジェクト性分布の不一致が根本的な失敗要因であることを示した。今後の研究において、ネットワーク設計に明示的なオブジェクト性事前知識を組み込むべきであると提言する。

ABSTRACT

In this paper, we study the problem of unsupervised object segmentation from single images. We do not introduce a new algorithm, but systematically investigate the effectiveness of existing unsupervised models on challenging real-world images. We firstly introduce four complexity factors to quantitatively measure the distributions of object- and scene-level biases in appearance and geometry for datasets with human annotations. With the aid of these factors, we empirically find that, not surprisingly, existing unsupervised models catastrophically fail to segment generic objects in real-world images, although they can easily achieve excellent performance on numerous simple synthetic datasets, due to the vast gap in objectness biases between synthetic and real images. By conducting extensive experiments on multiple groups of ablated real-world datasets, we ultimately find that the key factors underlying the colossal failure of existing unsupervised models on real-world images are the challenging distributions of object- and scene-level biases in appearance and geometry. Because of this, the inductive biases introduced in existing unsupervised models can hardly capture the diverse object distributions. Our research results suggest that future work should exploit more explicit objectness biases in the network design.

研究の動機と目的

• 合成データセットでの強力な性能が現実世界の単一画像への適用可能性を示すという仮定に疑問を呈し、自己教師付きオブジェクトセグメンテーションモデルの現実世界における真の潜在能力を調査すること。
• COOのような複雑な現実世界のシーンに適用した際、最先端の自己教師付きモデルが失敗する根本的要因を特定すること。
• 外見および幾何的バイアスを用いてオブジェクトおよびシーンのセグメンテーションの難易度を定量化し、定性的なゲシュタルト原理を越えて測定すること。
• 4つの代表的な自己教師付きモデル（AIR, MONet, IODINE, SlotAtt）を、偏りの制御された現実世界データセット上でアブレーションして、その耐性を評価すること。
• 現在のモデルにおける帰納的バイアスが現実世界のオブジェクト性分布と根本的に不一致であるという事実を特定し、今後の研究を導くこと。

提案手法

• オブジェクトおよびシーンレベルで外見および幾何的バイアスを測る4つの定量的複雑要因（オブジェクトの色勾配、オブジェクト間の色類似度、オブジェクト形状の規則性、スケールの一様性）を提案する。
• これらの要因を体系的にアブレーションした6つの現実世界データセット（YCB, ScanNet, COCO）を収集し、それらがセグメンテーション性能に与える影響を分離する。
• 4つの代表的な自己教師付き手法（AIR, MONet, IODINE, SlotAtt）を用いて、アブレーション済みデータセット上で130以上を新たに訓練し、バイアス分布への感受性を評価する。
• 標準的な指標（AP, PQ, Precision, Recall）を用いて、すべてのアブレーション設定およびモデル変種におけるセグメンテーション性能を定量的に評価する。
• 複数のデータセットにおける定性的な結果を分析し、さまざまなバイアス条件下での失敗モードと成功パターンを可視化する。
• 合成データセット（例：dSprites, CLEVR）と現実世界のデータセットとの間で性能を比較し、バイアス分布のシフトが引き起こす一般化ギャップを強調する。

実験結果

リサーチクエスチョン

• RQ1 合成ベンチマークで優れた性能を示すにもかかわらず、既存の自己教師付きオブジェクトセグメンテーションモデルが現実世界の単一画像にどの程度一般化できるか。
• RQ2 現実世界の画像におけるどの具体的な外見および幾何的要因が自己教師付きセグメンテーション性能を最も顕著に低下させるか。
• RQ3 オブジェクトおよびシーンレベルのバイアス（例：色勾配、形状の規則性）のアブレーションが、自己教師付きモデルのセグメンテーション精度にどのように影響するか。
• RQ4 強力な帰納的バイアスを学習しているにもかかわらず、なぜ現在の自己教師付きモデルが現実世界の画像で一般化可能なオブジェクトを発見できないのか。
• RQ5 既存モデルにおける帰納的バイアスが、現実世界の画像に実際に存在するオブジェクト性分布とどの程度不一致であるか。

主な発見

• 既存の自己教師付きオブジェクトセグメンテーションモデルは現実世界の画像で著しく失敗しており、COCO-S+T+UではAPが29.4%にとどまる一方、合成データセットでは80%を超える。
• 失敗の主な原因は、現在のモデルの帰納的バイアスと現実世界の外見および幾何的バイアスの複雑かつ多様な分布との不一致にある。
• モデルは外見要因に対して高い感受性を示す：オブジェクトの色勾配とオブジェクト間の色類似度が保持されていると、特にCOCOおよびScanNetで性能が著しく低下する。
• 外見要因をアブレーションした場合（例：C+Tデータセット）、セグメンテーション精度が顕著に向上し、外見の複雑さが主な失敗要因であることが示された。
• 外見要因をアブレーションしても、モデルは依然として現実世界のデータで困難を抱えることから、不規則な形状や非一様なスケールなどの幾何的バイアスの持続的課題が浮き彫りになった。
• MONetはCOCO-C+T+Uでは86.9%のAPを達成するが、COCO-S+T+Uでは29.4%にとどまる。これは、外見の変動が強力な帰納的バイアスがあるにもかかわらず、性能を著しく低下させることを示している。