[論文レビュー] Zero-shot Task Adaptation using Natural Language

Prasoon Goyal, Raymond J. Mooney+1 more|arXiv (Cornell University)|Jun 5, 2021

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

本論文では、関連するソースタスクのデモとタスクの違いの自然言語記述を用いて、新しいタスクを実行できるゼロショットフレームワークである言語支援報酬・価値適応（LARVA）を提案する。ターゲットゴール予測と報酬／価値関数の適応という2つの問題に分解することで、LARVAはテンプレートベースの言語では95％以上の成功を達成し、自由形式の自然言語では70％以上の成功を達成する。

ABSTRACT

Imitation learning and instruction-following are two common approaches to communicate a user's intent to a learning agent. However, as the complexity of tasks grows, it could be beneficial to use both demonstrations and language to communicate with an agent. In this work, we propose a novel setting where an agent is given both a demonstration and a description, and must combine information from both the modalities. Specifically, given a demonstration for a task (the source task), and a natural language description of the differences between the demonstrated task and a related but different task (the target task), our goal is to train an agent to complete the target task in a zero-shot setting, that is, without any demonstrations for the target task. To this end, we introduce Language-Aided Reward and Value Adaptation (LARVA) which, given a source demonstration and a linguistic description of how the target task differs, learns to output a reward / value function that accurately describes the target task. Our experiments show that on a diverse set of adaptations, our approach is able to complete more than 95% of target tasks when using template-based descriptions, and more than 70% when using free-form natural language.

研究の動機と目的

• エージェントがデモを一切受けずに、ソースタスクのデモとタスクの違いの自然言語記述を組み合わせることで、新しいタスクを学習できるゼロショットタスク適応を可能にすること。
• 各タスクごとにデモが必要な示範学習の制限と、複雑なタスク詳細を処理しにくい指示従いの限界を克服し、両モodalを統合すること。
• 手動で設計された特徴量を一切用いずに、多様なタスク適応に一般化可能なスケーラブルでデータ駆動型のモデルを開発すること。
• 訓練データから「青いシリンダー」のように「青い」と「シリンダー」を別々に学習した概念を組み合わせて新しい概念を構成できる能力をモデルが持っているかを評価すること。
• 学習問題をゴール予測と報酬／価値適応に分解することで、性能向上と中間監視の可能性が得られることを示すこと。

提案手法

• LARVAは、ソースデモ、タスクの違いの自然言語記述、およびターゲットタスクの報酬関数または価値関数を入力として受ける。
• モデルはタスクを2つの部分問題に分解する：ターゲットタスクのゴール状態を予測することと、それに該当する報酬または価値関数を予測すること。
• 神経ネットワークを用いてソースデモと自然言語記述を符号化し、言語の概念とデモ内のオブジェクト・アクションを対応付けるためにクロスアテンション機構を用いる。
• 中間監視を採用し、価値／報酬ヘッドの共同学習の前に、ゴール予測ヘッドを別々に訓練する。
• 一般化のため、モデルはトレーニング中に見られなかった分布外の概念（例：「青いシリンダー」）に対して評価され、合成環境（離散的アクションと状態を有する）でエンドツーエンドに訓練される。低レベルの制御は抽象化され、高レベルの計画に焦点を当てる。
• アーキテクチャは、離散的アクションと状態を持つ合成環境でエンドツーエンドに訓練され、低レベルの制御を抽象化し、高レベルの計画に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 エージェントが、ソースデモとタスクの違いの自然言語記述のみを提供された状態で、ゼロショット設定でターゲットタスクを正常に実行できるか？
• RQ2 デモと言語を組み合わせることで、単独で使用する場合と比較して性能がどのように向上するか？
• RQ3 トレーニング中に見られなかったオブジェクトとアクションの新しい組み合わせに、どの程度一般化できるか？
• RQ4 学習問題をゴール予測と報酬／価値適応に分解することで、性能向上と学習の安定性が向上するか？
• RQ5 テンプレートベースの言語と自由形式の自然言語記述の間で、性能にどのような差が生じるか？

主な発見

• テンプレートベースの自然言語記述を用いた場合、LARVAはターゲットタスクの完了成功率が95％以上に達する。
• 自由形式の自然言語を用いた場合、モデルは70％以上のターゲットタスクを正常に完了し、自然言語のばらつきに対しても頑健であることが示された。
• アブレーションスタディの結果、デモのみまたは言語のみを用いた場合、性能が著しく低下することが判明し、マルチモーダル統合の必要性が強調された。
• 問題がゴール予測と価値予測に分解されていなければ、モデルの性能は著しく低下するため、2段階設計の重要性が確認された。
• トレーニング中に登場しなかったオブジェクト・アクションの組み合わせ（例：「青いシリンダー」）に対しても一般化できることから、合成一般化能力があることが示された。
• 強力な性能を示しているが、テンプレートベースと自由形式言語の間には依然として大きなギャップが存在し、より良い言語モデリングとデータフィルタリングにより改善の余地があることが示唆された。