[論文レビュー] Programmable Agents

Misha Denil, Sergio Gómez Colmenarejo+3 more|arXiv (Cornell University)|Jun 20, 2017

Topic Modeling参考文献 23被引用数 4

ひとこと要約

この論文では、エンド・トゥ・エンドの学習により、環境の特性にシンボルを接地することで、形式言語で記述された宣言的プログラムを実行できるプログラマブル・エージェントを紹介する。エージェントは、既知および未知のオブジェクト特性の新しい組み合わせに対してほぼ完璧なゼロショット一般化を達成し、未確認の形状、色、および干渉要因を含むタスクで、標準アーキテクチャを上回る性能を発揮する。

ABSTRACT

We build deep RL agents that execute declarative programs expressed in formal language. The agents learn to ground the terms in this language in their environment, and can generalize their behavior at test time to execute new programs that refer to objects that were not referenced during training. The agents develop disentangled interpretable representations that allow them to generalize to a wide variety of zero-shot semantic tasks.

研究の動機と目的

• 環境の観測に基づいて形式言語で記述された宣言的プログラムを実行できるエージェントの開発。
• トレーニング中に見られなかった新しいオブジェクト特性およびその組み合わせに対するゼロショット一般化の実現。
• タスク分布の切り替え時に、深刻な忘却を回避する性能の維持。
• アクティベーションマップを通じてプログラム用語に明示的に対応する解釈可能で分離された表現の構築。
• 補助的监督や制御タスクを一切用いずに、環境ベースの報酬のみでエンド・トゥ・エンドにエージェントを学習すること。

提案手法

• エージェントは、オブジェクト特性の分離された、構造化された表現を促進するための構造的ボトルネックを強制する新しい「プログラマブル・ネットワーク」アーキテクチャを採用する。
• 各プログラムは、環境内の固定されたオブジェクト特性（例：色、形状）にマッピングされる微分可能でプログラム固有のアーキテクチャを介して実行される。
• エージェントはCNNベースの特徴抽出器を介して環境を観測し、プログラム用語がオブジェクトにどのように接地されているかを明示的に表現するアクティベーションマップを生成する。
• 真の状態情報に基づいてプログラムの満たしを検証する検証者からの報酬信号を用いて、エンド・トゥ・エンドで強化学習が適用される。
• システムは、観測に対して作用することで環境をプログラムの満たしに近づけるように動作する探索手順（エージェント）を用いる。
• 独立した特性（例：色と形状）を区別して合成できるように学習することで、一般化が可能になる。これにより、除外（例：「赤でないもの」）や新しい組み合わせによる推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 教師なしで特性の割り当てに関する监督を受けることなく、深層強化学習エージェントは視覚環境において宣言的プログラム用語を接地できるか？
• RQ2 エージェントは、トレーニング中に見られなかった既知および未知のオブジェクト特性の新しい組み合わせを含むゼロショットタスクに対して、どの程度一般化できるか？
• RQ3 新しい未確認タスクでファインチューニングした後でも、元のタスクのパフォーマンスを維持できるか、深刻な忘却を回避できるか？
• RQ4 解釈可能で分離された表現は、生の観測とプログラム実行からエンド・トゥ・エンドで出現するか？
• RQ5 宣言的プログラミングパラダイムの使用により、命令的または関数的プログラム実行と比較して、より強力な合成的かつ一般化可能な行動が実現できるか？

主な発見

• プログラマブル・エージェントは、3次元デザインタスクにおいて、すべての一般化条件でほぼ完璧なゼロショットパフォーマンスを達成した。これは、新しい形状、新しい色、および両方の新しい組み合わせを含むタスクでも同様に成立した。
• これに対して、標準的な深層強化学習アーキテクチャは、同じ3x3環境で完全に失敗し、ランダムベースラインと同等の性能にとどまった。
• エージェントは、ブロックの数が異なるタスク（最大10個まで）に対しても成功裏に一般化し、新しい特性を持つ干渉ブロックを無視した。
• エージェントは深刻な忘却に対して頑健であった：新しいタスクで250万ステップのファインチューニングを行った後でも、元のタスクのパフォーマンスは安定したままであった。
• アクティベーションマップの可視化により、エージェントがプログラム用語とオブジェクト特性との間で明示的かつ解釈可能なマッピングを学習していることが確認された。
• この手法により、訓練中に一度も見られなかった参照（例：「赤でないもの」）を含む新しい特性の一般化が可能になった。