[論文レビュー] Generalization and Robustness Implications in Object-Centric Learning

Andrea Dittadi, Samuele Papa+4 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Neural Network Applications参考文献 77被引用数 5

ひとこと要約

本稿では、5つのマルチオブジェクトデータセットに最先端の自己教師付きモデルを訓練することで、分布シフト下での一般化性と頑健性を評価することを目的として、オブジェクト中心の表現学習を調査している。オブジェクト中心のモデルは、下流タスクへの一般化性が高く、オブジェクトレベルのOODシフトに対しては頑健であるが、モデルやシフトの種類に依存して、グローバルなシーンレベルの分布シフト下では性能が著しく低下することが判明した。

ABSTRACT

The idea behind object-centric representation learning is that natural scenes can better be modeled as compositions of objects and their relations as opposed to distributed representations. This inductive bias can be injected into neural networks to potentially improve systematic generalization and performance of downstream tasks in scenes with multiple objects. In this paper, we train state-of-the-art unsupervised models on five common multi-object datasets and evaluate segmentation metrics and downstream object property prediction. In addition, we study generalization and robustness by investigating the settings where either a single object is out of distribution -- e.g., having an unseen color, texture, or shape -- or global properties of the scene are altered -- e.g., by occlusions, cropping, or increasing the number of objects. From our experimental study, we find object-centric representations to be useful for downstream tasks and generally robust to most distribution shifts affecting objects. However, when the distribution shift affects the input in a less structured manner, robustness in terms of segmentation and downstream task performance may vary significantly across models and distribution shifts.

研究の動機と目的

• マルチオブジェクトシーンにおける下流タスクの性能向上が、自己教師付きオブジェクト中心表現学習によって達成されるかどうかを評価すること。
• 1つのオブジェクトが分布外（OOD）にいる場合、他のオブジェクトに依存せずに、オブジェクト中心モデルが安定した表現を維持するかどうかをテストすること。
• オクルージョン、クロッピング、オブジェクト数の増加といったグローバルな分布シフト下でも、オブジェクト中心モデルが一貫して頑健に一般化できるかどうかを評価すること。
• 再現可能な研究と今後の評価を支援するため、オブジェクト中心表現学習のベンチマークライブラリを確立すること。
• オブジェクト中心モデルにおけるセグメンテーション品質、再構成誤差、および下流予測性能の相関関係を調査すること。

提案手法

• 最先端の自己教師付きオブジェクト発見モデル（MONet、スロットアテンション、GENESIS、SPACE、畳み込みおよびブロードキャストデコーダーを備えたVAE）を再実装した。
• 5つのマルチオブジェクトデータセット（CLEVR、Multi-dSprites、Objects Room、ShapeStacks、Tetrominoes）でモデルを訓練した。
• セグメンテーション指標（例：ARI）、再構成誤差、および下流のオブジェクト属性予測性能を用いてモデルを評価した。
• 制御された分布シフトを適用した：1オブジェクトのOOD（例：未知の色、形状、テクスチャ）、およびグローバルなシーンレベルのシフト（オクルージョン、クロッピング、オブジェクト数の増加）。
• バリデーションにおけるARIスコアに基づいてモデルを選定し、ホールドアウトされたテストセットでの結果を報告することで、偏りのない評価を確保した。
• ベンチマークの標準化および新規モデルやデータセットのサポート拡張を目的として、オープンソースライブラリ（https://github.com/addtt/object-centric-library）をリリースした。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きオブジェクト中心表現学習は、下流のオブジェクト属性予測タスクにおける性能向上をもたらすか？
• RQ2 1つのオブジェクトが分布外（例：新しい色や形状）にいる場合、分布内オブジェクトの表現は安定しており、他のオブジェクトに影響を受けないか？
• RQ3 オクルージョン、クロッピング、またはオブジェクト数の増加といったグローバルな分布シフトに対して、オブジェクト中心モデルはどの程度頑健か？
• RQ4 オブジェクト中心モデルにおいて、セグメンテーション品質、再構成誤差、および下流タスク性能の間に強い相関関係があるか？
• RQ5 オブジェクト中心表現は多様な分布シフトに効果的に一般化できるか？ また、モデルやシフトタイプによって性能はどのように変化するか？

主な発見

• オブジェクト中心モデルは、オブジェクト属性予測タスクにおいて優れた下流性能を達成しており、セグメンテーション指標（例：ARI）、再構成誤差、および下流精度の間に強い相関関係が確認された。
• 1つのオブジェクトが分布外（例：新しい色や形状）にいる場合、セグメンテーション性能はほとんど安定しており、分布内オブジェクトの予測は最小限の影響を受ける。
• グローバルな分布シフト（例：オクルージョン、クロッピング、オブジェクト数の増加）下では、モデル間でセグメンテーション性能および下流性能の差が顕著に現れ、一部のモデルでは著しい低下が観察された。
• オブジェクト中心モデルのグローバルシフト下での頑健性は、モデルに強く依存しており、インダクティブバイアスだけでは、あらゆる種類の分布シフトに対する一般化を保証しないことが示された。
• MONet、スロットアテンション、GENESISなどのモデルは、特定のシフトに対してより高い耐性を示した一方、VAEベースラインは同様の条件下で顕著な性能低下を示した。
• 本研究では、オブジェクト中心表現が構造的でオブジェクトレベルの分布シフトに対して特に効果的であることが示されたが、シーンレベルの構造が変化する場合には課題に直面することが明らかになった。