[論文レビュー] Colors in Context: A Pragmatic Neural Model for Grounded Language Understanding

Will Monroe, Robert D. Hawkins+2 more|arXiv (Cornell University)|Mar 29, 2017

Speech and dialogue systems参考文献 33被引用数 6

ひとこと要約

この論文は、合理的な言語行動（Rational Speech Acts）にインspiredされた再帰的推論を用いて、聞き手と話者のニューラルモデルを統合することで、色の参照ゲームにおける意味的言語理解のための実用的で効果的なニューラルモデルを提案している。モデルは、類似色や曖昧な記述といった難しい状況でも、話者と聞き手の両方の視点を統合することで、解釈の正確性を著しく向上させ、単に理解力や生成力のどちらかに特化して訓練されたベースラインモデルを上回っている。

ABSTRACT

We present a model of pragmatic referring expression interpretation in a grounded communication task (identifying colors from descriptions) that draws upon predictions from two recurrent neural network classifiers, a speaker and a listener, unified by a recursive pragmatic reasoning framework. Experiments show that this combined pragmatic model interprets color descriptions more accurately than the classifiers from which it is built, and that much of this improvement results from combining the speaker and listener perspectives. We observe that pragmatic reasoning helps primarily in the hardest cases: when the model must distinguish very similar colors, or when few utterances adequately express the target color. Our findings make use of a newly-collected corpus of human utterances in color reference games, which exhibit a variety of pragmatic behaviors. We also show that the embedded speaker model reproduces many of these pragmatic behaviors.

研究の動機と目的

• 意味的コミュニケーションタスクにおけるスケーラブルで学習可能な、実用的言語理解のモデルを開発すること。
• 話者と聞き手の視点を統合することで、文脈依存的な指差し表現における解釈の正確性がどのように向上するかを調査すること。
• 研究用に利用可能な、心理学的動機づけに基づいた大規模な人間が生成した色の参照ゲームのコーパスを構築・公開すること。
• ニューラルネットワークが人間のコミュニケーションで観察される実用的行動を学習・再現できるかどうかを評価すること。
• 再帰的実用的推論が、言語理解のためのニューラルモデルにおいて、どのように効果的であるかを調査すること。

提案手法

• モデルは、色の記述を解釈するためのリッスンRNNと、それらを生成するためのスピーカRNNという2つの再帰的ニューラルネットワーク（RNN）分類器を用いる。
• 実用的推論は、合理的な言語行動（RSA）にインspiredされた再帰的フレームワークによって実装され、実用的リッスンRNNが話者の意図を、話者の行動に基づいて推論する。
• 実用的リッスンRNNは、リッスンRNNとスピーカRNNの予測を統合し、特に難しい状況での曖昧性の解消にスピーカモデルの予測が寄与する。
• モデルは、人間参加者から得た948組の二対色の参照ゲームからなる新規に収集されたコーパス（全53,365発話）を用いて訓練および評価された。
• スピーカモデルは、リッスンRNNが正しく解釈できるような発話を生成するように訓練され、リッスンRNNは、文脈の中での発話からターゲット色にマッピングするように訓練された。
• 最終的な実用的リッスンRNNモデルは、リッスンRNNとスピーカRNNの両方の予測をブレンドし、スピーカの視点が曖昧な文脈で誤ったリッスン予測を上書きするのを助ける。

実験結果

リサーチクエスチョン

• RQ1 話者と聞き手の両方の視点を統合したニューラル実用的モデルは、単一のリッスンモデルに比べて、色の記述の解釈精度を向上させることができるか？
• RQ2 実用的推論は、非常に似た色を区別する、または不十分な記述語でターゲット色を特定するといった困難な状況で、どの程度性能を向上させるか？
• RQ3 ニューラルスピーカーとリッスンRNNモデルは、文脈に応じて色語を変える、比較表現を用いるといった、人間の実用的行動を再現できるか？
• RQ4 リッスン側の実用的推論に依存するのと比較して、話者と聞き手の両方の視点を統合することは、どの程度効果的か？
• RQ5 データ駆動型のRSAフレームワークは、色の参照ゲームのような複雑で言語的に豊かなドメインに、スケーラブルに適用可能か？

主な発見

• 統合された実用的モデルは、ベースラインのリッスン専用RNNに比べて、特に類似色の微細な違いを識別するような最も困難な状況で、解釈の正確性が著しく向上した。
• 最も大きな性能向上は、スピーカモデルの予測統合に起因しており、そのモデル自体はリッスンタスクではあまりうまくいかないにもかかわらずである。
• リッスン専用モデルに基づく実用的推論も正確性を向上させるが、その恩恵は特に困難な状況（たとえば、ターゲット色を適切に記述する発話が少ない、または色が視覚的に近い）で顕著に現れる。
• 埋め込まれたスピーカモデルは、ダミー色に応じて異なる基本色語を選択するといった、人間データで観察される主要な実用的行動を効果的に再現した。
• モデルは、意味論だけでなく、会話相手の期待や文脈依存的な選択をモデル化することで、曖昧性を解消するのに実用的推論が有効であることを示した。
• 結果から、言語理解を生成と理解の両方の視点に根ざさせることで、現実世界の文脈依存的コミュニケーションにおいて、より強固で正確な解釈が可能になることが示唆された。