[論文レビュー] Interactive Language Acquisition with One-shot Visual Concept Learning through a Conversational Game

Haichao Zhang, Haonan Yu+1 more|arXiv (Cornell University)|Apr 26, 2018

Multimodal Machine Learning Applications参考文献 32被引用数 4

ひとこと要約

本論文は、教師との対話型ゲームを通じて、言語の意味的根拠づけと視覚的概念のワンショット学習を可能にする、連合的模倣学習と強化学習のフレームワークを提案する。エージェントは能動的に質問を行い、外部記憶に新しいオブジェクトの情報を保存し、文脈に適した文を生成する。文レベルのワンショット学習タスクにおいて、82.8%の成功率と+0.8の平均報酬を達成した。

ABSTRACT

Building intelligent agents that can communicate with and learn from humans in natural language is of great value. Supervised language learning is limited by the ability of capturing mainly the statistics of training data, and is hardly adaptive to new scenarios or flexible for acquiring new knowledge without inefficient retraining or catastrophic forgetting. We highlight the perspective that conversational interaction serves as a natural interface both for language learning and for novel knowledge acquisition and propose a joint imitation and reinforcement approach for grounded language learning through an interactive conversational game. The agent trained with this approach is able to actively acquire information by asking questions about novel objects and use the just-learned knowledge in subsequent conversations in a one-shot fashion. Results compared with other methods verified the effectiveness of the proposed approach.

研究の動機と目的

• 教師あり言語学習の限界、特に大規模なラベル付きデータセットに依存することと、柔軟性の欠如、深刻な忘却の問題を解決すること。
• 人間の認知能力を模倣する形で、1つの例からのみ新しい視覚的概念を学習できるエージェントを実現すること。
• 自然言語による対話で能動的に情報を求め、それをその後の会話で意味的に活用できるシステムを開発すること。
• 再訓練を必要とせず、言語生成と知識習得を両立できるスケーラブルな対話型学習環境を構築すること。
• メモリ拡張ニューラルネットワークが、解釈可能で適応的な言語生成とワンショット概念統合を可能にする点の有効性を示すこと。

提案手法

• エージェントは、言語生成を最適化するために、連合的模倣学習と強化学習を用いて教師と対話型ゲーム環境で相互作用する。
• メモリ拡張ニューラルネットワークが、教師のフィードバックから得た視覚特徴と関連する言語ラベルを外部記憶に保存し、ワンショット概念学習を可能にする。
• コンテンツ重要度ゲートを備えたアテンションメカニズムが、教師の発話におけるオブジェクト名を特定・優先し、記憶への書き込みを制御する。
• 融合ゲートが、文生成時にRNN（文法的構造のため）と外部記憶（新規概念のため）からの信号を動的にバランスさせる。
• モデルは、教師の応答を模倣するための教師あり学習と、対話成功を最大化するための強化学習を組み合わせて、エンドツーエンドで訓練される。
• テスト環境における一般化能力とワンショット学習能力を評価するため、画像の変化を加えたワードレベルおよび文レベルのタスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、大規模な教師ありデータセットに依存せずに、対話的相互作用を通じて意味的根拠づけられた言語を生成できるか？
• RQ2 エージェントは、教師に対して能動的に質問を行い、外部記憶に情報を保存することで、ワンショット視覚的概念学習を達成できるか？
• RQ3 エージェントは、新たに習得した知識を、新しいオブジェクトを含む後続の会話にどの程度効果的に転送できるか？
• RQ4 RNNベースの文法的モデリングとメモリ拡張型知識保存の統合は、ゼロショットおよびフェイシュット設定における文生成をどの程度向上させるか？
• RQ5 複雑で変動する会話環境において、本手法はベースライン手法と比較して、成功確率と報酬の点で優れているか？

主な発見

• 提案手法は、文レベルのワンショット学習タスクで82.8%の成功率と+0.8の平均報酬を達成し、すべてのベースライン手法を上回った。
• エージェントはコンテンツ重要度ゲートを用いて、教師のフィードバックからオブジェクト名を効果的に抽出・保存できており、名前固有表現に対して高い注視度と記憶書き込み確率を示した。
• 融合ゲート機構は解釈可能であることが確認された：オブジェクト名（例：'banana'、'cucumber'）の生成時には外部記憶信号を優先し、機能語（例：'what'、'I'、'can'、'see'）の生成時にはRNN信号に依存する傾向を示した。
• モデルは、画像変化率50%の新しい画像変化に対しても良好に一般化しており、テスト環境における視覚的・言語的摂動に対して頑健であることが示された。
• 可視化結果から、エージェントがRNNからの文法的構造と外部記憶からの新規視覚的概念知識を適応的に統合して文を構成していることが確認された。
• ワンショットで習得した知識が、その後の会話に効果的に転送され、エージェントが文脈に適した形で新規概念を意味的に活用できていることが示された。