[論文レビュー] Improving Object-centric Learning with Query Optimization

Baoxiong Jia, Yu Liu+1 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、無教師オブジェクト中心学習の安定性と概念的意味の明確さを向上させるために、ランダム初期化の代わりにクエリとしてのスロット初期化を学習する、新しい手法であるBi-level Optimized Query Slot Attention (BO-QSA) を提案する。この手法は、ストレートスラッシュ勾配推定と二段階最適化を統合することで、10の多様なデータセット（合成および現実世界）で最先端の性能を達成し、セグメンテーションおよび再構築タスクにおいて、従来のSlot-Attentionの変種を顕著に上回る。

ABSTRACT

The ability to decompose complex natural scenes into meaningful object-centric abstractions lies at the core of human perception and reasoning. In the recent culmination of unsupervised object-centric learning, the Slot-Attention module has played an important role with its simple yet effective design and fostered many powerful variants. These methods, however, have been exceedingly difficult to train without supervision and are ambiguous in the notion of object, especially for complex natural scenes. In this paper, we propose to address these issues by investigating the potential of learnable queries as initializations for Slot-Attention learning, uniting it with efforts from existing attempts on improving Slot-Attention learning with bi-level optimization. With simple code adjustments on Slot-Attention, our model, Bi-level Optimized Query Slot Attention, achieves state-of-the-art results on 3 challenging synthetic and 7 complex real-world datasets in unsupervised image segmentation and reconstruction, outperforming previous baselines by a large margin. We provide thorough ablative studies to validate the necessity and effectiveness of our design. Additionally, our model exhibits great potential for concept binding and zero-shot learning. Our work is made publicly available at https://bo-qsa.github.io

研究の動機と目的

• Slot-Attentionにおけるランダムスロット初期化に起因する不安定さと曖昧さを解消すること。
• 無教師オブジェクト中心モデルにおけるハイパーパrameterチューニングやトレーニングヒューリスティクス（例：勾配クリッピング、学習率ウォームアップ）への依存を低減すること。
• 学習済みスロットが実際のオブジェクト概念に適切にバインドされるようにすることにより、より良い一般化性能とゼロショット転移の可能性を向上させること。
• 学習可能なクエリと二段階最適化、ストレートスラッシュ勾配推定を統合することで、トレーニングの効率性と収束性を向上させること。
• 3Dシーン再構築や画像セグメンテーションを含む多様なビジョンタスクに、即挿し可能な形で改善されたオブジェクト中心学習を展開できること。

提案手法

• Slot-Attentionにおけるランダムスロット初期化を、二段階最適化によって最適化される学習可能なクエリベクトルに置き換える。
• 離散的スロット割り当てプロセスを経由する勾配のバックプロパゲーションを可能にするために、ストレートスラッシュ勾配推定器（STE）を導入する。
• 最適化を二段階問題として定式化する：内側ループでアテンションを介してスロット特徴量を最適化し、外側ループで学習可能なクエリ初期化を更新する。
• 元のSlot-Attentionアーキテクチャを維持しつつ、初期化および最適化手順のみを変更することで、後方互換性を保つ。
• 外側ループ最適化における計算コストを削減するため、一次近似を用いる。これにより、効率的なトレーニングが可能になる。
• uORFなどの既存モデルにプラグインとして適用可能であり、アーキテクチャの変更なしに性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なクエリ初期化は、無教師オブジェクト中心学習におけるトレーニングの安定性と性能向上に寄与するか？
• RQ2 ランダム初期化を最適化されたクエリに置き換えることで、複雑なシーンにおけるオブジェクト概念へのバインディングが向上するか？
• RQ3 提案手法は、Slot-Attentionにおけるハイパーパrameterチューニングへの依存度をどの程度低減できるか？
• RQ4 モデルはゼロショットのシナリオに一般化可能であり、微調整なしに新しいデータセットに転移可能か？
• RQ5 本手法は、合成および現実世界の画像データセットを含む多様なベンチマークでどの程度の性能を示すか？

主な発見

• BO-QSAは、3つの合成データセットおよび7つの現実世界データセットで最先端の性能を達成し、再構築およびセグメンテーションの両タスクで、以前の最先端手法を上回った。
• CLEVR-567データセットでは、uORF+BO-QSAが600エポックで74.5 NV-ARIを達成し、元のuORF（1200エポック訓練）の84.4 NV-ARIを上回った。
• 複雑なRoom-Diverseベンチマークでは、uORF+BO-QSAが240エポックで63.0 NV-ARIを達成したのに対し、元のuORFは240エポックで56.6 NV-ARIであった。
• ゼロショット転移学習においても一般化性能が向上しており、概念バインディングの強力な可能性を示している。
• アブレーションスタディの結果、学習可能なクエリが性能向上に不可欠であり、ランダム初期化では劣った結果が得られた。
• トレーニングの不安定性とハイパーパrameterチューニングへの依存度が低下しており、多様なデータセットで一貫した収束が確認された。