[論文レビュー] Dialog-based Language Learning

Jason Weston|arXiv (Cornell University)|Apr 20, 2016

Topic Modeling被引用数 27

ひとこと要約

本稿では、明示的な報酬信号なしに、教師・生徒の会話という相互作用を通じて言語を学ぶ対話ベースの言語学習を提案する。新規なモデルで予測的前方探索を用いることで、bAbIおよび大規模QAデータセットにおいて正確な質問応答を達成し、会話相手からの監視のみで効果的な言語習得が可能であることを示している。

ABSTRACT

A long-term goal of machine learning research is to build an intelligent dialog agent. Most research in natural language understanding has focused on learning from fixed training sets of labeled data, with supervision either at the word level (tagging, parsing tasks) or sentence level (question answering, machine translation). This kind of supervision is not realistic of how humans learn, where language is both learned by, and used for, communication. In this work, we study dialog-based language learning, where supervision is given naturally and implicitly in the response of the dialog partner during the conversation. We study this setup in two domains: the bAbI dataset of (Weston et al., 2015) and large-scale question answering from (Dodge et al., 2015). We evaluate a set of baseline learning strategies on these tasks, and show that a novel model incorporating predictive lookahead is a promising approach for learning from a teacher's response. In particular, a surprising result is that it can learn to answer questions correctly without any reward-based supervision at all.

研究の動機と目的

• 言語モデルが明示的な報酬信号なしに、対話的相互作用を通じて効果的に学習できるかどうかを調査すること。
• 従来の教師ありNLP学習と人間のような言語習得の間のギャップを、通信を通じて埋めること。
• bAbIおよび大規模QAの2つのベンチマークデータセットにおいて、対話設定での学習戦略を評価すること。
• 会話相手の応答からの暗黙的監視を活用するモデルの開発と検証を行うこと。

提案手法

• モデルは、会話中に教師の応答から学ぶ対話ベースの設定を採用する。
• 教師の応答を予測する前方探索メカニズムを導入し、エージェントの内部的推論をガイドする。
• 報酬に基づく監視を一切用いず、会話の自然な流れのみに依存して学習を行う。
• モデルは、bAbI（Weston et al., 2015）および大規模質問応答（Dodge et al., 2015）の2つのデータセットで訓練および評価される。
• 提案された前方探索を強化したモデルと比較するためのベースライン学習戦略が評価される。
• 文脈理解の向上を目的に、系列モデリングと動的応答予測を統合するアーキテクチャが採用される。

実験結果

リサーチクエスチョン

• RQ1 報酬ベースの監視が一切ない状況でも、言語モデルは質問に正しく答えられるように学習できるか？
• RQ2 予測的前方探索は、対話ベースの監視からの学習をどの程度効果的に改善できるか？
• RQ3 性能とサンプル効率の観点から、対話ベースの学習は従来の教師あり手法と比べてどの程度優れているか？
• RQ4 会話相手の応答からの暗黙的監視は、頑健な言語理解をもたらすことができるか？

主な発見

• 予測的前方探索を備えた提案モデルは、報酬ベースの監視なしにbAbIおよび大規模QAデータセットの両方で優れた性能を達成した。
• モデルは相互作用そのものだけで質問に正しく答えられるように学習し、暗黙の対話監視が効果的な学習に十分であることを示している。
• 予測的前方探索は、ベースライン戦略と比較して学習効率と正確性の両面で顕著に向上させた。
• 結果から、機械学習フレームワーク内で人間のような言語習得が対話によって実現可能であることが示された。