[論文レビュー] An Investigation into Pre-Training Object-Centric Representations for Reinforcement Learning

Jaesik Yoon, Yifu Wu+2 more|arXiv (Cornell University)|Feb 9, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

この論文は、画像ベースの RL の事前学習として監督なしの物体中心表現（OCR）を評価し、新しいシンプルな 2D 物体中心ベンチマークと 3D ロボティクス課題を用いて、OCR 事前学習がいつ役立つか、サンプル効率、および一般化を検討します。

ABSTRACT

Unsupervised object-centric representation (OCR) learning has recently drawn attention as a new paradigm of visual representation. This is because of its potential of being an effective pre-training technique for various downstream tasks in terms of sample efficiency, systematic generalization, and reasoning. Although image-based reinforcement learning (RL) is one of the most important and thus frequently mentioned such downstream tasks, the benefit in RL has surprisingly not been investigated systematically thus far. Instead, most of the evaluations have focused on rather indirect metrics such as segmentation quality and object property prediction accuracy. In this paper, we investigate the effectiveness of OCR pre-training for image-based reinforcement learning via empirical experiments. For systematic evaluation, we introduce a simple object-centric visual RL benchmark and conduct experiments to answer questions such as ``Does OCR pre-training improve performance on object-centric tasks?'' and ``Can OCR pre-training help with out-of-distribution generalization?''. Our results provide empirical evidence for valuable insights into the effectiveness of OCR pre-training for RL and the potential limitations of its use in certain scenarios. Additionally, this study also examines the critical aspects of incorporating OCR pre-training in RL, including performance in a visually complex environment and the appropriate pooling layer to aggregate the object representations.

研究の動機と目的

• OCR の事前学習が物体中心タスクにおける RL の性能を改善するかを評価する。
• どのタスクタイプ（相互作用、関係推論）が OCR から最も恩恵を受けるかを調査する。
• サンプル効率と out-of-distribution への一般化の観点で OCR 事前学習を評価する。
• 視覚的複雑さとプーリング選択が OCR-ベースの RL の性能に与える影響を検討する。
• OCR 事前学習が RL に有利である場合のベンチマーク、コード、洞察を提供する。

提案手法

• エンドツーエンド学習と OCR 事前学習 regime の下で、単一ベクトル、固定領域、物体中心の複数表現を比較する。
• 全実験で PPO を RL アルゴリズムとして用い、評価にはシンプルな 2D 物体中心ベンチマークと 3D reaching タスクを用いる。
• 複数の OCR モデル（IODINE、Slot-Attention、SLATE、SLATE-Large）とプーリング層（Transformer vs MLP）の効果を評価し、RL パフォーマンスへの影響を調べる。
• 前処理として 2D Spriteworld ベースのデータセットを実装し、複雑な環境を評価するために 3D CausalWorld ロボティクス課題を用いる。
• オブジェクト目標、オブジェクト相互作用、オブジェクト比較、特性比較タスクを横断して結果を分析し、関係推論能力を評価する。

Figure 1: The model architectures for representation types.

実験結果

リサーチクエスチョン

• RQ1 OCR の事前学習が物体中心の強化学習タスクの性能を改善するか、またどのタスクタイプが最も恩恵を受けるか？
• RQ2 OCR の事前学習は物体中心の RL シナリオにおけるサンプル効率にどう影響するか？
• RQ3 OCR の事前学習はオブジェクトの個数や色など分布外の一般化を改善できるか？
• RQ4 視覚的に複雑な環境での OCR の性能はどうか、セグメンテーションが難しい状況で、どのプーリング層が RL を最も支えるか？
• RQ5 どの OCR モデルとアーキテクチャの選択（例：トランスフォーマープーリング）が最良の RL パフォーマンスをもたらすか？

主な発見

Tasks	Models	Goal	Int.	Obj.	Pro.
Object Goal Task	SLATE	0.985	0.787	0.979	0.98
Object Goal Task	SLATE-MLP	0.9	0.03	0.238	0.229

• OCR 事前学習は関係推論タスクで性能を改善できる場合があるが、すべての物体中心タスクで一貫して他の表現を上回るとは限らない。
• Object Goal タスクでは、ほとんどのモデルが 80% を超える成功率を達成する一方、per-object 情報を抽出するのが難しい単一ベクトル表現には苦戦した。
• Object Interaction タスクは約 80% の成功率を達成したのは SLATE とエンドツーエンド CNN のベースラインのみで、他の OCR モデルはしばしば失敗し、デコーダーのアーキテクチャが重要であることを示唆する。
• Object Comparison および Property Comparison タスクでは OCR 事前学習はグラウンド truth 状態と同様の性能を示し、IODINE は OCR 手法の中で劣っていた。
• OCR 事前学習は一般に他の事前学習ベースラインと比較してサンプル効率を改善する傾向が強く、特に関係性に焦点を当てたタスクで効果的である；非 SLATE OCR 手法は Object Interaction が失敗することがある。
• SLATE は一貫して高い性能を示し、視覚的に複雑な設定（Object Reaching）でも良好、IODINE は遅くて弱い。

Figure 2: The performance comparison of unsupervised object-centric representation (OCR) pre-training against other representation types in object-centric tasks. The results indicate that OCR pre-training demonstrates a significant performance gap compared to other representations and slightly worse