[論文レビュー] Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information

Sudha Rao, Hal Daumé|arXiv (Cornell University)|May 12, 2018

Topic Modeling被引用数 18

ひとこと要約

本稿では、完全情報の期待価値（EVPI）を用いて、Clarification Question（確認質問）のためのニューラルランキングモデルを提案する。良い質問とは、その答えが得られれば投稿の情報量が著しく向上するようなものと定式化する。新規の77,000件のサンプルを含むStackExchangeデータセット上で評価した結果、ベースラインを上回る性能を示し、EVPIに基づく効用推定が実用的質問の質を効果的に捉えていることを実証した。

ABSTRACT

Inquiry is fundamental to communication, and machines cannot effectively collaborate with humans unless they can ask questions. In this work, we build a neural network model for the task of ranking clarification questions. Our model is inspired by the idea of expected value of perfect information: a good question is one whose expected answer will be useful. We study this problem using data from StackExchange, a plentiful online resource in which people routinely ask clarifying questions to posts so that they can better offer assistance to the original poster. We create a dataset of clarification questions consisting of ~77K posts paired with a clarification question (and answer) from three domains of StackExchange: askubuntu, unix and superuser. We evaluate our model on 500 samples of this dataset against expert human judgments and demonstrate significant improvements over controlled baselines.

研究の動機と目的

• 投稿の情報量を向上させる可能性のある質問の期待効用に基づいて、確認質問をランキングするニューラルネットワークモデルを開発すること。
• 共同作業環境において、ユーザーの質問を解決するために最も役立つ欠落情報は何かを特定する課題に対処すること。
• このタスクを支援するため、StackExchangeから得た大規模かつ専門家がアノテートした確認質問データセットを構築すること。
• 意思決定理論的原則（EVPI）を深層学習と統合し、人間と機械の協働における実用的質問のランキングを実現すること。
• コンテンツ作成中に能動的に確認質問を提示することで、応答の効率を向上させること。

提案手法

• 期待価値（EVPI）を用いて、投稿の情報量の向上見込みとしての効用を定式化し、候補となる確認質問をランキングするタスクを定式化する。
• 投稿と質問が与えられたもとで、各回答の確率を推定するためのニューラルネットワークを用いる。確率はP(a_j | p, q_i)としてモデル化する。
• 与えられた回答a_jが得られた場合に、投稿がどの程度完成度が向上するかを測るためのニューラル効用関数U(p + a_j)を採用する。
• 精度と関連性の両方を最適化する微分可能な損失関数を用いて、回答確率モデルと効用モデルを同時に学習する。
• 類似したStackExchange投稿の検索を活用して、候補となる質問と回答を生成する。候補生成にはLuceneベースの類似度を用いる。
• 回答表現学習を適用し、回答を質問の文脈と整合させる。元の回答と言い換えられた回答の両方を監視信号として用いる。

実験結果

リサーチクエスチョン

• RQ1 確認質問が実際に発言される前から、その期待効用をどのようにモデル化できるか。
• RQ2 投稿の情報量を向上させるという実用的価値を最もよく捉えることができるニューラルアーキテクチャは何か。
• RQ3 EVPIに基づく効用推定は、強力なベースラインを上回って確認質問のランキング性能を向上させられるか。
• RQ4 このモデルは、技術的Q&Aフォーラムの異なる分野に一般化できるか。
• RQ5 どのような質問の特徴が、共同問題解決において有用な情報を引き出す可能性を高めるか。

主な発見

• 専門家がアノテートしたテストセットにおいて、EVPIに基づくニューラルモデルは制御ベースラインを顕著に上回り、有用な確認質問のランキング性能が向上していることが示された。
• 本モデルは、元の確認質問を検索するタスクおよび候補群の中から専門家が評価した良い質問を特定するタスクの両方で優れた性能を発揮した。
• 約77,000件の（投稿、質問、回答）の三つ組みからなる本研究で提案されたデータセットは、確認質問ランキングモデルの強固な訓練と評価を可能にした。
• EVPIと深層学習を統合することで、関連性と情報量のバランスを的確に捉える実用的質問選択のモデル化が有効に実現された。
• 人間によるアノテーションの結果、モデルの予測は特に、過度に具体的または無関係な質問よりも、広範かつ回答可能な質問を好む専門家の判断と一致していることが確認された。
• 本モデルはAskUbuntu、Unix、Superuserの各分野にわたり一般化可能であり、技術用語やユーザー行動の差異に対しても頑健であることが示された。