[論文レビュー] ProTo: Program-Guided Transformer for Program-Guided Tasks

Zelin Zhao, Karan Samel+2 more|arXiv (Cornell University)|Oct 2, 2021

Multimodal Machine Learning Applications参考文献 89被引用数 15

ひとこと要約

ProToは、視覚的推論および2次元Minecraftの政策学習において、GQAベンチマークで前人最高の精度（+4.31%）を達成し、未学習で複雑かつ人間が書いたプログラムに対しても優れた一般化性能を示す、プログラム誘導型トランスフォーマーを提案する。このモデルは、クロスアテンションとマスクド自己アテンションを活用し、統合的な実行を可能にするために、プログラムの意味論的性質と構造的性質を同時にモデル化する。

ABSTRACT

Programs, consisting of semantic and structural information, play an important role in the communication between humans and agents. Towards learning general program executors to unify perception, reasoning, and decision making, we formulate program-guided tasks which require learning to execute a given program on the observed task specification. Furthermore, we propose the Program-guided Transformer (ProTo), which integrates both semantic and structural guidance of a program by leveraging cross-attention and masked self-attention to pass messages between the specification and routines in the program. ProTo executes a program in a learned latent space and enjoys stronger representation ability than previous neural-symbolic approaches. We demonstrate that ProTo significantly outperforms the previous state-of-the-art methods on GQA visual reasoning and 2D Minecraft policy learning datasets. Additionally, ProTo demonstrates better generalization to unseen, complex, and human-written programs.

研究の動機と目的

• プログラム誘導タスクのための汎用的なプログラム実行器を学習することで、認識、推論、意思決定を統一する。
• スケーラビリティと一般化性能を阻害する、一時的でタスク特化型のプログラム実行器の限界を是正する。
• 意味論的性質と構造的制御フローを同時に符号化する神経的記号的モデルを構築し、推論と実行の性能を向上させる。
• 密度の高い監視とスパarsな報酬設定の両方で、視覚的推論や政策学習を含む多様なプログラム誘導タスクにおいてモデルを評価する。

提案手法

• ProToはクロスアテンションを用い、タスク仕様（例：画像や環境状態）とプログラムルーチンを意味論的に一致させ、意味の根拠づけを実現する。
• マスクド自己アテンションをプログラム構造に適用することで、制御フローを保持し、ループや条件分岐を含む構造的推論を可能にする。
• モデルは学習された潜在空間上でプログラムを実行するため、従来の神経的記号的モデルよりも洗練された表現学習が可能になる。
• 密度の高い実行監視とスパースな報酬に基づく学習の両方をサポートし、複雑な環境における一般化を可能にする。
• アテンションメカニズムを明示的に用いて意味論的および構造的プログラムコンponentsをモデル化する。
• モデルはGQA（視覚的推論）および2次元Minecraft（政策学習）で評価され、プログラムアノテーション付きデータセットとドメイン固有のプログラミング言語（DSL）が使用される。

実験結果

リサーチクエスチョン

• RQ1 統合的なニューラルモデルは、認識、推論、意思決定タスクの多様なプログラムを効果的に実行できるか？
• RQ2 プログラム構造と意味論を明示的にモデル化することで、未学習の複雑な、または人間が書いたプログラムへの一般化性能がどのように向上するか？
• RQ3 構造的アテンションを備えたトランスフォーマー型アプローチは、通常のトランスフォーマーや記号的プランナーよりも、プログラム誘導タスクで優れた性能を発揮するか？
• RQ4 ProToは、明示的な監視なしに、未学習のプログラムルーチンにどの程度一般化できるか？
• RQ5 スパースな報酬信号を伴う環境において、ProToは長大で複雑なプログラムにスケーラブルに適応できるか？

主な発見

• ProToは、プログラム誘導型視覚的推論タスクにおいて、GQAの公開テストサーバーで前人最高の手法より4.31%の精度向上を達成した。
• モデルは人間が書いたプログラムに対しても効果的に一般化し、合成的またはプログラム生成された入力にとどまらない頑健性を示した。
• 明示的な構造的ガイダンスが欠落しているヴァナイルトランスフォーマーと比較して、特に長大で複雑なプログラムにおいて顕著に優れた性能を示した。
• モデルは合成的能力を一般化し、例としてIs_there(gold)やMine(Silver)を観測した後、新しいルーチン（例：Mine(Gold)）を推論できるようになった。
• ハードコードされた記号的プランナーよりも、スケーラビリティ、生画像入力への適応性、未学習のプログラムコンponentsの処理において優れた性能を発揮した。
• スパース報酬学習においても強力な性能を発揮し、密度の高い監視なしに、Minecraftにおけるブリッジ構築などの複雑な行動を学習できた。