[論文レビュー] Asking the Right Question: Inferring Advice-Seeking Intentions from Personal Narratives

Liye Fu, Jonathan P. Chang+1 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、個人の物語から助言を求めている意図を推論するという、NLP分野における新しいタスクを紹介する。このタスクは、モデルが2つの候補の中から物語の著者が実際に意図した助言を求めることを目的とした質問を選択する、クローズ形式のテストとして定式化されている。著者らは、20,000件を超える物語と意味的に妥当な質問ペアを対にしたASQデータセットを構築し、このタスクが表面的な意味的理解をはるかに超えて、共通の常識や社会的直感を要することを示している。また、物語における外部的意図（ extradiegetic intention ）を理解する分野における進展を測定するためのベースラインを確立した。

ABSTRACT

People often share personal narratives in order to seek advice from others. To properly infer the narrator's intention, one needs to apply a certain degree of common sense and social intuition. To test the capabilities of NLP systems to recover such intuition, we introduce the new task of inferring what is the advice-seeking goal behind a personal narrative. We formulate this as a cloze test, where the goal is to identify which of two advice-seeking questions was removed from a given narrative. The main challenge in constructing this task is finding pairs of semantically plausible advice-seeking questions for given narratives. To address this challenge, we devise a method that exploits commonalities in experiences people share online to automatically extract pairs of questions that are appropriate candidates for the cloze task. This results in a dataset of over 20,000 personal narratives, each matched with a pair of related advice-seeking questions: one actually intended by the narrator, and the other one not. The dataset covers a very broad array of human experiences, from dating, to career options, to stolen iPads. We use human annotation to determine the degree to which the task relies on common sense and social intuition in addition to a semantic understanding of the narrative. By introducing several baselines for this new task we demonstrate its feasibility and identify avenues for better modeling the intention of the narrator.

研究の動機と目的

• 個人の物語を共有する際に背後に隠れた外部的（ extradiegetic ）な意図、特に助言を求めることを意図しているかどうかをNLPシステムが推論できないというギャップを埋めるため。
• 物語に対して、意図された質問とそうでない質問の2つを意味的に妥当なペアとして自動的に生成する手法を開発するため。
• 20,000件を超える個人の物語と、それに対応する助言を求めることを意図した質問ペアを含む、大規模かつ多様なデータセットを構築するため。
• このタスクが、物語の意味的理解をはるかに超えて、共通の常識や社会的直感に強く依存していることを示すため。
• このタスクのためのベースラインモデルを確立し、人間とコンピュータの対話における物語的意図のモデリングにおける主な課題と今後の方向性を特定するため。

提案手法

• タスクを二択のクローズ形式テストとして定式化：与えられた個人の物語と2つの助言を求めることを意図した質問のうち、著者が実際に意図したもの（正解）を選択する。
• 公開フォーラムから得たオンラインの個人の物語を用い、暗黙の助言を求めることを意図した物語を抽出する。
• 物語間の共通する経験的パターンを活用することで、意味的に妥当な助言を求めることを意図した質問ペアを自動的に特定する手法を開発する。
• 人間の経験の共通性（例：睡眠不足、キャリアのストレス）を活用し、意図が異なるが意味的に妥当な質問ペアを生成する。
• 人間によるアノテーションを用いて、質問ペアの妥当性を検証し、このタスクが共通の常識や社会的直感にどれほど依存しているかを評価する。
• 得られたASQデータセット上でベースラインモデルを訓練・評価し、性能ベンチマークを確立する。

実験結果

リサーチクエスチョン

• RQ1 個人の物語における助言を求めることを意図しているという意図を推論する際、意味的理解をはるかに超えて、共通の常識や社会的直感がどれほど必要となるのか。
• RQ2 体系的な手法によって、与えられた物語に対して意味的に妥当で、かつ意図が異なる助言を求めることを意図した質問ペアを生成できるか。
• RQ3 既存のNLPモデルは、意味的に妥当な代替案との間に、実際に意図された助言を求めることを意図した質問をどれほど正確に区別できるか。
• RQ4 物語のどの特徴や構造的要素が、著者が実際に助言を求めることを意図しているかどうかを最もよく予測できるか。
• RQ5 人間とコンピュータの対話における物語的意図をよりよく推論できるように、物語理解モデルをどのように改善できるか。

主な発見

• ASQデータセットには20,000件を超える個人の物語が含まれており、それぞれが2つの意味的に妥当な助言を求めることを意図した質問ペア（1つは意図されたもの、1つはそうでないもの）と対にされている。このため、意図推論の評価が可能である。
• 人間のパフォーマンスは高い（92.4％の正答率）が、これはタスクが明確で意味のあるものであることを示しているが、依然として社会的直感と共通の常識を要する。
• ベースラインモデル（BERTベースの分類器を含む）は中程度のパフォーマンス（約70％の正答率）を示しており、タスクが自明ではなく、より深い推論を要することを示している。
• このタスクは、物語の内部的出来事ではなく、著者の外部的コミュニケーション的意図を推論する必要があるため、標準的な意味的理解タスクよりもはるかに困難である。
• アノテーターは質問の6％を「あまりに一般的すぎる」と評価しており、今後の研究では質問表現の改善とフィルタリングの必要性が示唆されている。
• 結果から、物語の構造、ディス course アクト、感情の流れを統合することで、本質的でない詳細と本質的な詳細を区別するのに役立つ可能性があることが示唆された。