[論文レビュー] ReviewQA: a relational aspect-based opinion reading dataset

Quentin Grail, Julien Pérez|arXiv (Cornell University)|Oct 29, 2018

Topic Modeling参考文献 13被引用数 6

ひとこと要約

ReviewQA は、トリップアドバイザーの 10 万件のホテルレビューに基づいて構築された大規模で関係的（リレーショナル）な質疑応答（QA）データセットであり、単なるスパン抽出を超えた推論能力を評価することを目的としている。8 つの推論タスクにわたる 50 万件を超える自然言語の質問を含み、回答はテキストから抽出されるのではなく候補集合から選択されるため、複雑な理解力とセンチメント推論の評価が可能になる。ディーププロジェクティブリーダーモデルが最も優れた性能を示し、大多数のタスクでベースラインを上回った。

ABSTRACT

Deep reading models for question-answering have demonstrated promising performance over the last couple of years. However current systems tend to learn how to cleverly extract a span of the source document, based on its similarity with the question, instead of seeking for the appropriate answer. Indeed, a reading machine should be able to detect relevant passages in a document regarding a question, but more importantly, it should be able to reason over the important pieces of the document in order to produce an answer when it is required. To motivate this purpose, we present ReviewQA, a question-answering dataset based on hotel reviews. The questions of this dataset are linked to a set of relational understanding competencies that we expect a model to master. Indeed, each question comes with an associated type that characterizes the required competency. With this framework, it is possible to benchmark the main families of models and to get an overview of what are the strengths and the weaknesses of a given model on the set of tasks evaluated in this dataset. Our corpus contains more than 500.000 questions in natural language over 100.000 hotel reviews. Our setup is projective, the answer of a question does not need to be extracted from a document, like in most of the recent datasets, but selected among a set of candidates that contains all the possible answers to the questions of the dataset. Finally, we present several baselines over this dataset.

研究の動機と目的

• SQuAD などの抽出型 QA データセットがパターンマッチングを好む傾向にあるのを是正するため、関係的かつ構成的（コンポジショナル）な理解を要するデータセットを導入すること。
• センチメント分析を質疑応答タスクとして形式化し、ユーザーのレビューにおける微細な意見推論の評価を可能にすること。
• 10 万件のホテルレビューと 50 万件の質問を含む大規模なプロジェクティブ QA ベンチマークをリリースすること。
• 各質問に特定の推論タイプを関連付けることで、推論モデルの強みと弱みを細かく分析可能な包括的な評価フレームワークを提供すること。
• 今後の読解理解における推論研究のための強力なベースラインを確立すること、特に新規のディーププロジェクティブリーダーモデルを含む。

提案手法

• データセットはトリップアドバイザーのホテルレビューから構築され、各レビューにはアスペクト評価（例：清潔さ、価格）と総合評価がアノテートされており、質問生成の基盤となっている。
• 質問はクラウドソーシングされ、バックトランスレーションを施して多様で自然な表現形を生成し、意味を保ちつつ言語的多様性を確保している。
• 各質問は、単純なスパン抽出から、正確な評価予測や比較的推論に至るまで、8 つの推論タイプのいずれかに紐づけられている。
• プロジェクティブな回答選択メカニズムが採用されている：ドキュメントからスパンを抽出するのではなく、あらかじめ定義された候補集合から正しい回答を選択することで、正確なスパンマッチングに依存しない推論評価が可能になる。
• ディーププロジェクティブリーダーモデルが提案されている。このモデルは、双方向LSTM、質問-ドキュメントアテンション、ドキュメント内での自己アテンション、および文脈を回答空間にマップするためのプロジェクション層を組み合わせている。
• ベースラインには、単純なLSTM、5回のメモリホップを有するMemN2N、論理回帰、および提案されたディーププロジェクティブリーダーが含まれ、すべて同じハイパーパrameter（Adam最適化、300次元GloVe埋め込み、バッチサイズ64）で全データセットに訓練されている。

実験結果

リサーチクエスチョン

• RQ1 質疑応答フレームワークは、単なるスパン抽出を超えた関係的推論を読解理解において効果的に評価できるか？
• RQ2 異なるモデルアーキテクチャは、ユーザーが生成したホテルレビューから導出された多様な推論タスクにおいて、どのように性能を発揮するか？
• RQ3 ドキュメントの摂動が生じた状況下で、プロジェクティブな回答選択メカニズムは抽出型ベースラインに比べてどの程度頑健性が向上するか？
• RQ4 自己アテンションと質問に特化したエンコーディングを備えたディーププロジェクティブリーダーモデルは、従来のアーキテクチャに比べ、複雑な意見推論タスクで優れた性能を発揮できるか？
• RQ5 異なる推論タイプ（例：正確なアスペクト評価予測、比較的推論）は、現在の読解理解モデルにおける個別の弱みをどのように露呈するか？

主な発見

• ディーププロジェクティブリーダーモデルは、ReviewQA テストセット全体で最高の性能を示し、大多数の推論タスクで他のすべてのベースラインを上回った。
• 単純なLSTMとMemN2Nモデルは、特にタスク5（正確なアスペクト評価予測）において、複雑な意見構造をモデル化する能力に限界を示しており、性能が低いことがわかった。
• 論理回帰は全タスクで比較的高い性能を示したが、タスク6（アスペクトのリスト）で最も悪い成績を示しており、複数回答予測には最適化されていないことが示唆された。
• プロジェクティブリーダーが質問-ドキュメントおよびドキュメント-ドキュメントのアテンション層を活用することで、文脈的推論を要するタスクで優れた性能が得られた。
• 回答を候補集合から選択するデータセットのプロジェクティブ構成は、推論評価に有効であることが実証された。これは、正確なスパンマッチングに依存しなくなり、頑健性が向上するためである。
• バックトランスレーションされた質問の導入により、言語的多様性が向上しながらもタスクの一貫性が保たれ、言語の変化にわたる一般化評価が可能になった。