[論文レビュー] Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL

Cédric Colas, Ahmed Akakzia+3 more|arXiv (Cornell University)|Jun 12, 2020

Multimodal Machine Learning Applications参考文献 38被引用数 6

ひとこと要約

本論文は、強化学習における言語の接地を新たに提案する言語条件付きゴール生成を紹介する。この手法は、言語の習得とセンサモータリポリシー学習を分離することで、同じ命令に対して多様な行動を可能にしつつ、一般化性能を維持する。自然言語の指示から言語に依存しないゴールを生成する生成モデルを訓練することで、ブロック積み環境においてゼロショット一般化性能と行動の多様性が向上したことが実証された。

ABSTRACT

In the real world, linguistic agents are also embodied agents: they perceive and act in the physical world. The notion of Language Grounding questions the interactions between language and embodiment: how do learning agents connect or ground linguistic representations to the physical world ? This question has recently been approached by the Reinforcement Learning community under the framework of instruction-following agents. In these agents, behavioral policies or reward functions are conditioned on the embedding of an instruction expressed in natural language. This paper proposes another approach: using language to condition goal generators. Given any goal-conditioned policy, one could train a language-conditioned goal generator to generate language-agnostic goals for the agent. This method allows to decouple sensorimotor learning from language acquisition and enable agents to demonstrate a diversity of behaviors for any given instruction. We propose a particular instantiation of this approach and demonstrate its benefits.

研究の動機と目的

• 直接的な言語条件付けの限界、例えばポリシー学習のすべての段階で言語に依存することや行動の多様性が低いことへの対処。
• エージェントが言語とは独立してセンサモータリポリシーを学習できることを可能にし、乳児の言語習得以前の発達段階を模倣すること。
• 言語が抽象的で一般化可能なゴールを表現できる能力を活用しつつ、1つの指示に対して複数の明確に異なる行動を可能にすること。
• 予期しない述語や論理式の組み合わせへのゼロショット一般化の向上。

提案手法

• 変分オートエンコーダ（VAE）を訓練し、自然言語の指示を条件として、言語に依存しないゴール状態（バイナリーベクトル）を生成する。
• 初期のシーン状態と、100次元の埋め込みを用いたGRUによる指示埋め込みの2ストリームエンコーダを採用する。
• 潜在空間の正則化に、標準正規分布を事前分布とするKullback-Leibler発散損失を用い、再構成のためのバイナリークロスエントロピー損失と組み合わせる。
• ReLU活性化関数を用いた全結合ネットワークによるデコーダで、シグモイド出力によりバイナリーゴールベクトルを生成する。
• BCE_loss + β × KL_loss の組み合わせ損失関数を用いて、エンドツーエンドでモデルを訓練する。β = 0.6 として設定する。
• β、層サイズ、学習率、潜在次元数のハイパーパramーターサーチを実施し、さまざまな設定で安定した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 同じ指示に対して、固定されたポリシーであっても、言語条件付きゴール生成が行動の多様性を実現できるか？
• RQ2 ポリシー学習から言語を分離させることで、予期しない述語の論理的組み合わせへの一般化性能が向上するか？
• RQ3 抽象的で合成的な指示に対して、多様かつ妥当なゴール状態をモデルがどれほど効果的に生成できるか？
• RQ4 アクション動詞とオブジェクト属性の新しい組み合わせに対して、モデルがどの程度ゼロショットで一般化できるか？
• RQ5 自然言語から、高レベルの空間的推論（例：積み上げ、近接）を支援するゴールをモデルが生成できるか？

主な発見

• モデルは、与えられた指示に対して多様かつ妥当なゴール状態を効果的に生成でき、同じ事前学習済みポリシーのもとで複数の明確に異なる行動を可能にした。
• 本手法は、'A かつ B' や '(A かつ B) または (C かつ D)' のような論理式に否定を含むものも含め、予期しない述語の組み合わせへの強いゼロショット一般化を達成した。
• テストセット4では20個の固有の指示ペアに対して、1つの指示あたり平均9.5つの適合する最終状態配置を生成した。
• テストセット5では、複雑な論理的組み合わせを含む状況において、それぞれ6つおよび13つの適合するゴールを生成し、合成的言語に対する頑健な性能を示した。
• ハイパーパramーターアブレーションにより、さまざまな設定で安定した性能を示し、最適な結果は β = 0.6、128層サイズ、0.005の学習率、27次元の潜在空間で得られた。