[論文レビュー] Question Asking as Program Generation

Anselm Rothe, Brenden M. Lake+1 more|arXiv (Cornell University)|Nov 16, 2017

Topic Modeling参考文献 21被引用数 9

ひとこと要約

本稿では、人間の質問行動を、与えられた世界状態において答えに評価される形式的プログラムとして扱う計算モデルを提案する。質問を情報量と単純さを重視する確率的プログラムとしてモデル化することで、モデルは人間の質問頻度を予測し、ゲームベースの学習タスクにおいて訓練データを超えた、人間らしい質問を生成する。このモデルは、人間の行動を予測する点でベースラインを上回り、訓練データを超えた創造性を示している。

ABSTRACT

A hallmark of human intelligence is the ability to ask rich, creative, and revealing questions. Here we introduce a cognitive model capable of constructing human-like questions. Our approach treats questions as formal programs that, when executed on the state of the world, output an answer. The model specifies a probability distribution over a complex, compositional space of programs, favoring concise programs that help the agent learn in the current context. We evaluate our approach by modeling the types of open-ended questions generated by humans who were attempting to learn about an ambiguous situation in a game. We find that our model predicts what questions people will ask, and can creatively produce novel questions that were not present in the training set. In addition, we compare a number of model variants, finding that both question informativeness and complexity are important for producing human-like questions.

研究の動機と目的

• 自然言語の質問の豊かさと創造性を捉える人間の質問行動の計算モデルを開発すること。
• 質問生成を、あり得る質問の構成的空間上で確率的プログラム合成として形式化すること。
• 情報量と複雑さが、曖昧な学習文脈における人間の質問選好にどのように共同で影響するかを評価すること。
• 訓練データに存在しない、新しい意味的に整合性のある質問を生成し、創造性と関連性を示すこと。
• 人間におけるオープンエンドで目的志向の質問行動を予測可能な認知的モデルを提供すること。

提案手法

• 質問は、可能な世界状態に対して実行されたときに答え（例：真／偽、数値、集合）を返す形式的プログラムとしてモデル化される。
• 確率的プログラム合成フレームワークは、エネルギーに基づくモデルを用い、情報量（期待情報量の増加で測定）と複雑さ（プログラム長）に基づいてプログラムに確率を割り当てる。
• モデルは論理演算、集合操作、算術、ゲーム状態（例：船のサイズ、色、位置）に関する属性照会をサポートする構成的文法を採用する。
• 推論は、答えの分布の類似性に基づいて重複または同等の質問を除外する重み付きサンプリングにより、プログラム空間から実施される。
• モデルのパラメータは、ゲームベースの情報探索タスクにおける観察された人間の質問の尤度を最大化するように学習される。
• モデルは、予測された質問頻度と人間のデータを比較することで評価され、また、訓練セットに含まれない新しい質問の生成によっても評価される。

実験結果

リサーチクエスチョン

• RQ1 形式的プログラム生成フレームワークは、曖昧な学習状況における人間がどの質問を出すかを予測できるか？
• RQ2 情報量と複雑さは、人間の質問選択にどのように共同で影響するか？
• RQ3 モデルは、訓練データに存在しない、新しい意味的に整合性があり、文脈的に関連性のある質問を生成できるか？
• RQ4 情報量、複雑さ、または質問タイプを無視するモデルの変種と比較して、モデルのパフォーマンスはどの程度優れているか？
• RQ5 モデルは、質問の有用性と認知的負荷の間の認知的妥協をどの程度正しく捉えているか？

主な発見

• 情報量と複雑さの両方を組み込んだ完全なモデルは、予測された質問頻度と人間の質問頻度の間に0.78の相関を達成し、ベースラインモデルを著しく上回った。
• モデルのパフォーマンスは、人間のデータが疎であっても安定しており、情報量または複雑さを無視するモデルは、それぞれ0.65および-0.36の相関を示したが、それらは本モデルに劣っていた。
• モデルは4つのゲーム文脈において、5つの新しい人間らしい質問を効果的に生成した。複雑な複数部構成の質問、例えば「青と紫の船が接触しており、赤と紫の船が接触していない（またはその逆）ですか？」を含んでいた。
• モデルが生成した質問は、人間の質問と意味的に同等である確率がわずか12%にとどまり、強力な新規性と創造的多様性を示した。
• 質問頻度と期待情報量（EIG）のみの間に有意な相関は認められず、複雑さその他の要因が人間行動をモデル化する上で不可欠であることが示唆された。
• 意味的整合性、情報量、単純さを組み合わせることで、単一要因に依存するモデルよりも、より正確で創造的な質問生成が可能であることが明らかになった。