[論文レビュー] Identifying Well-formed Natural Language Questions

Manaal Faruqui, Dipanjan Das|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本稿では、文法的に適切な自然言語の質問を識別するための新しいタスクを提示し、新たに構築された25,100件のアノテート済みクエリから学習したニューラル分類器を提案する。モデルは、文法的に適切な質問とそうでない質問を区別する際、70.7%の正確性を達成し、出力の再順序付けに用いることでニューラル質問生成を0.2 BLEUスコア向上させる。

ABSTRACT

Understanding search queries is a hard problem as it involves dealing with "word salad" text ubiquitously issued by users. However, if a query resembles a well-formed question, a natural language processing pipeline is able to perform more accurate interpretation, thus reducing downstream compounding errors. Hence, identifying whether or not a query is well formed can enhance query understanding. Here, we introduce a new task of identifying a well-formed natural language question. We construct and release a dataset of 25,100 publicly available questions classified into well-formed and non-wellformed categories and report an accuracy of 70.7% on the test set. We also show that our classifier can be used to improve the performance of neural sequence-to-sequence models for generating questions for reading comprehension.

研究の動機と目的

• 自然言語処理システムにおける意図理解の正確性を阻害する非形式的・不文法的な検索クエリの処理という課題に対処すること。
• ユーザーのクエリにおける文法的に適切な自然言語の質問を識別するための新しいベンチマークタスクを定義し確立すること。
• この新しいタスクを支援するため、文法的適切さの確率を付与した25,100件のクエリから構成される大規模なクラウドアノテート済みデータセットを構築・公開すること。
• 文法的適切さ分類が、とりわけニューラル質問生成を含む下流のNLPタスクを改善するための信号として有効であることを示すこと。

提案手法

• 1件のクエリあたり5名のクラウドワーカーによるアノテーションを実施し、一致度に基づいて文法的適切さの確率を算出。
• 文法的適切さを3つの基準で定義：文法的整合性、明示的な質問構造、綴りミスの不在。
• 各クエリから抽出した語彙的および構文的特徴を用いて、フィードフォワードニューラルネットワーク分類器を学習。
• ニューラルシーケンス・トゥ・シーケンス質問生成のための判別的再順序付けモデルにおいて、モデルの文法的適切さ確率を特徴量として使用。
• 開発セットにおけるBLEUスコアを最適化し、モデルの信頼度と文法的適切さ確率の両方を特徴量として組み合わせて再順序付け器を最適化。
• 最終システムを3,850件のクエリから成るテストセットで評価し、BLEU-1およびBLEU-4の指標を用いて質問生成を評価。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、ユーザーのクエリが文法的に適切な自然言語の質問であるかどうかを正確に分類できるか？
• RQ2 文法的適切さ確率は、ニューラル質問生成モデルの性能向上にどの程度有効な信号となるか？
• RQ3 語彙的および構文的特徴は、文法的適切さ分類にどの程度寄与するか？
• RQ4 人間の判断は文法的適切さに関してどれほど一貫性があるか？また、一致度は信頼性を向上させるか？
• RQ5 再順序付けによる文法的正しさの向上は、質問生成における自動評価スコアを向上させるか？

主な発見

• 提案された分類器は、3,850件のクエリから成るテストセットで70.7%の正確性を達成し、この新しいタスクの強力なベースラインを示した。
• データセットの76.5%（19,206件）が少なくとも4名のアノテーターで一致したため、文法的適切さに関する人間の判断の間一致性が高く、信頼性が保証された。
• 文法的適切さ分類器を用いて10件の最良出力を再順序付けすることで、ニューラルシーケンス・トゥ・シーケンス質問生成モデルの性能が0.2 BLEU-4ポイント向上した。
• モデルは、長距離の構文的依存関係（例：過去形動詞と「did」の一致誤り）を処理する際に困難を示し、誤分類を引き起こした。
• 非常に文法的に適切な質問であっても、より参考文書に一致するが文法的に不適切な代替案よりもBLEUスコアが低くなる場合があり、流暢さと語彙的一致性のトレードオフが生じていることが示された。
• データセットは http://goo.gl/language/query-wellformedness で公開されており、今後のクエリ理解および質問生成分野の研究を可能にしている。