[論文レビュー] Modeling question asking using neural program generation

Ziyun Wang, Brenden M. Lake|arXiv (Cornell University)|Jul 23, 2019

Multimodal Machine Learning Applications参考文献 22被引用数 11

ひとこと要約

本稿では、教師あり学習または強化学習を用いて訓練されたトランスフォーマー基盤のエンコーダデコーダネットワークを用いて、質問を表す形式的プログラムを生成することで、人間の質問行動をモデル化する神経的記号的フレームワークを提案する。この手法は、人間の創造性や構造に類似した多様で情報量の多い質問を生成できるが、強化学習で訓練された場合、人間がアノテートした質問データを必要としない。

ABSTRACT

People ask questions that are far richer, more informative, and more creative than current AI systems. We propose a neuro-symbolic framework for modeling human question asking, which represents questions as formal programs and generates programs with an encoder-decoder based deep neural network. From extensive experiments using an information-search game, we show that our method can predict which questions humans are likely to ask in unconstrained settings. We also propose a novel grammar-based question generation framework trained with reinforcement learning, which is able to generate creative questions without supervised human data.

研究の動機と目的

• 部分状態情報しか入手できない状況下で、人間の質問行動を模倣する情報探索タスク（例：バトルシップ）を対象とする。
• 大量のアノテート済みデータを必要とするデータ駆動型ニューラル質問生成モデルの限界を克服し、多様性と創造性に欠ける問題を解決する。
• 質問を形式的プログラムとして表現するフレームワークを開発し、合成的で解釈可能で意味的に正確な質問生成を可能にする。
• 人間がアノテートした質問データなしに強化学習を用いてモデルを訓練し、人間の質問パターンを反映する質問を生成する。
• 予測精度（密度推定）と、新規で情報量の多い質問の生成という観点から、モデルの評価を実施する。

提案手法

• 質問をドメイン特化言語（DSL）における形式的プログラムとして表現することで、正確で構成的かつ解釈可能な質問生成を可能にする。
• 部分的に観察可能なゲーム状態を密度表現に変換するため、畳み込みニューラルネットワーク（CNN）エンコーダを用いる。
• エンコードされた状態を条件として、トランスフォーマー・デコーダを用いて質問プログラムをトークン単位で逐次生成する。
• 事前学習段階で自動生成された質問を用い、その後に少量のアノテート済み質問を用いて教師あり学習でモデルを訓練する。
• 期待情報量（EIG）に基づく報酬関数を用いた強化学習を適用し、人間の質問アノテーションデータなしにモデルを訓練する。
• 特定の質問タイプ（例：真偽、数値、位置関連）を条件付きで生成できるように、文法をガイドとするデコード戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプログラム生成モデルは、制約なく部分的に観察可能な状況下で、人間がどの質問を尋ねるかを予測できるか？
• RQ2 強化学習に基づくアプローチは、人間がアノテートした質問データに依存せずに、創造的で人間らしい質問を生成できるか？
• RQ3 モデルが生成する質問は、人間の質問の構造、多様性、情報量の観点からどの程度類似しているか？
• RQ4 プログラム表現を用いることで、自然言語生成と比較して、生成された質問の解釈可能性と質がどの程度向上するか？
• RQ5 デコードプロセスを条件づけることで、モデルは柔軟にさまざまな質問タイプ（例：真偽、合成的）を生成できるか？

主な発見

• 強化学習モデルは、人間の示唆データなしに平均期待情報量（EIG）が 0.924 に達し、高い情報量を持つことを示した。
• ステップペナルティを適用しない強化学習モデルでは、最大の多様性とEIG（92.4%の質問がEIG > 0）を達成したが、同時に意味のない質問も多数生成した。
• ステップペナルティを 0.2 に設定した場合、強化学習モデルは平均 5.79 モーダルで質問を生成し、特に船のサイズと向きに関する点で人間の質問パターンと強く一致した。
• 強化学習モデルと人間の質問の上位10件が非常に類似しており、両者とも船のサイズと向きに関する質問を好んでいた。
• モデルは「青の船のサイズと紫の船のサイズの合計は？」「青と紫のタイルの右下のタイルはどこにありますか？」といった、合成的で創造的な新規質問を生成した。
• 文法をガイドとするデコード戦略により、モデルは必要に応じて特定の質問タイプ（例：真偽、数値、位置）を生成でき、人間の質問行動に類似した柔軟性を示した。