[論文レビュー] Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals

Tongzhou Mu, Jiayuan Gu+3 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning被引用数 2

ひとこと要約

本論文は、自己教師付きオブジェクト提案を用いて、オブジェクト中心のグラフニューラルネットワーク（GNN）を用いて高報酬の教師ポリシーを一般化可能な学生ポリシーに再構築する2段階フレームワークを提案する。自己教師付きオブジェクト検出を活用して意味のある視覚的オブジェクトを入力として抽出することで、学生ポリシーは4つの挑戦的なタスクにおいて強力な構成的一般化性を達成し、既存のベースラインを上回る性能を発揮する。

ABSTRACT

We study how to learn a policy with compositional generalizability. We propose a two-stage framework, which refactorizes a high-reward teacher policy into a generalizable student policy with strong inductive bias. Particularly, we implement an object-centric GNN-based student policy, whose input objects are learned from images through self-supervised learning. Empirically, we evaluate our approach on four difficult tasks that require compositional generalizability, and achieve superior performance compared to baselines.

研究の動機と目的

• 未確認のタスク組み合わせにわたる構成的一般化を達成するポリシーを学ぶという課題に対処すること。
• 構造的でオブジェクト中心の表現を活用することで、複雑な意思決定タスクにおける一般化を向上させること。
• タスク固有の監視に依存を減らすために、自己教師付きオブジェクト提案を入力特徴として使用すること。
• 性能を維持しつつゼロショット一般化を可能にする強力なインダクティブバイアスを持つ学生ポリシーを設計すること。
• 分布シフト下での構成的推論を要するタスクにおいて、フレームワークを評価すること。

提案手法

• フレームワークは2段階の訓練プロセスを用いる：まず、教師ポリシーが豊富なデモンストレーションセットで訓練される。
• 次に、教師の行動が、自己教師付きオブジェクト提案から得られるオブジェクト中心の入力上で動作する学生ポリシーに蒸留される。
• 自己教師付きオブジェクト提案は、対照的学習を用いて画像から抽出され、ボックスアノテーションなしでオブジェクトレベルの特徴を提供する。
• 学生ポリシーは、オブジェクト特徴とそれらの関係を処理して意思決定を行うグラフニューラルネットワーク（GNN）として実装される。
• GNNベースの学生ポリシーは、教師の行動を模倣するように訓練されるとともに、構成的推論のためのインダクティブバイアスを強制する。
• フレームワークはオブジェクト中心の表現を活用することで、未確認のタスク組み合わせへのゼロショット一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師ポリシーから蒸留された学生ポリシーは、標準的なイミタション学習に比べて、より優れた構成的一般化性を達成できるか？
• RQ2 自己教師付きオブジェクト提案を入力として使用することで、ゼロショット設定での一般化がどのように向上するか？
• RQ3 エンドツーエンドポリシーと比較して、オブジェクト中心のGNNアーキテクチャは一般化をどの程度向上させるか？
• RQ4 GNNベースの学生ポリシーのインダクティブバイアスは、未確認のタスク組み合わせにおけるパフォーマンス向上に寄与するか？
• RQ5 構成的推論を要する多様で複雑なタスクにおいて、このフレームワークはどの程度の性能を発揮するか？

主な発見

• 提案されたフレームワークは、強力なベースラインと比較して、構成的一般化性を要する4つの挑戦的なタスクで優れたパフォーマンスを達成した。
• 自己教師付きオブジェクト提案の使用により、オブジェクト検出の明示的監視がなくても、未確認のタスク組み合わせへの一般化が効果的に可能になった。
• GNNベースの学生ポリシーは強力なインダクティブバイアスを示し、ゼロショット一般化が向上した。
• 2段階の蒸留プロセスは、教師から学生への高報酬行動の転送に成功するとともに、一般化性の向上を実現した。
• オブジェクト検出の明示的監視が存在しない状況でも、フレームワークはベースライン手法を上回った。
• 実験的結果から、オブジェクト中心の表現が、複雑で構成的な環境における一般化を顕著に向上させることが確認された。