[論文レビュー] Modeling Ambiguity, Subjectivity, and Diverging Viewpoints in Opinion Question Answering Systems

Mengting Wan, Julian McAuley|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 15被引用数 5

ひとこと要約

本稿では、1つの質問に対して複数の相違する回答を学習することで、曖昧さと主観性を明示的にモデル化する mixture-of-experts フレームワークを提案する。アマゾンから得た80万件の質問と310万件の回答を活用し、二値質問およびオープンエンド質問の両方において、回答の関連性が向上することを示した。複数回答での学習が、単一ラベルベースラインに比べて性能を向上させることを実証し、とくに繊細な意見の分布を捉える際に顕著な効果を示した。

ABSTRACT

Product review websites provide an incredible lens into the wide variety of opinions and experiences of different people, and play a critical role in helping users discover products that match their personal needs and preferences. To help address questions that can't easily be answered by reading others' reviews, some review websites also allow users to pose questions to the community via a question-answering (QA) system. As one would expect, just as opinions diverge among different reviewers, answers to such questions may also be subjective, opinionated, and divergent. This means that answering such questions automatically is quite different from traditional QA tasks, where it is assumed that a single `correct' answer is available. While recent work introduced the idea of question-answering using product reviews, it did not account for two aspects that we consider in this paper: (1) Questions have multiple, often divergent, answers, and this full spectrum of answers should somehow be used to train the system; and (2) What makes a `good' answer depends on the asker and the answerer, and these factors should be incorporated in order for the system to be more personalized. Here we build a new QA dataset with 800 thousand questions---and over 3.1 million answers---and show that explicitly accounting for personalization and ambiguity leads both to quantitatively better answers, but also a more nuanced view of the range of supporting, but subjective, opinions.

研究の動機と目的

• 従来のQAシステムが単一の正解を仮定するが、製品関連の質問応答において主観的で曖昧かつ相違する意見が存在するという課題に対処すること。
• 1つの質問に対して複数、あるいは矛盾する可能性のある回答を考慮する教師あり学習フレームワークを開発すること。
• 質問者や回答者の好みといった個人化要因を意見QAに組み込み、関連性と正確性を向上させること。
• コミュニティの回答の全範囲を捉える80万件の質問と310万件を超える回答を含む大規模な意見QAデータセットを構築・公開すること。
• 単一回答ベースラインと比較して、複数回答での学習が二値質問およびオープンエンド質問の両方においてモデル性能を向上させるかどうかを評価すること。

提案手法

• 二値質問に対して、1つの質問に対して複数のノイズの多いラベル（回答）をモデル化するEMに類似したmixture-of-experts（MoE）フレームワークを提案。各回答を「ノイズの多い専門家」として扱い、統合する。
• オープンエンド質問へ拡張するため、1つの質問に対して利用可能なすべての回答を学習対象とし、関連性関数を用いて意見を含むレビュー断片を検索する。
• 単一の正解ラベルではなく、すべての回答の分布を最適化対象とする多ラベル目的関数を導入。これにより、主観性に対するロバストネスが向上する。
• モデルに主観的特徴（例：センチメント、極性）を組み込み、特にオープンエンド設定における性能への影響を評価する。
• 教師あり学習設定を採用。モデルは1つの質問に対してすべての回答を学習対象とし、順序付けの正しさを評価する主な指標としてAUCを用いる。
• バリエーションを評価：s-MoE（単一回答）、m-MoE（複数回答）、m-MoE-S（複数回答＋主観的特徴）を比較し、製品カテゴリごとの性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの質問に対して複数の相違する回答を学習することで、単一回答ベースラインと比較して意見QAシステムの性能が向上するか？
• RQ2 主観的特徴（例：センチメント、極性）を組み込むことで、オープンエンド質問における関連する意見の特定能力が向上するか？
• RQ3 複数回答での学習が、とくに主観的または曖昧なクエリにおいて、意見の分布を捉える能力をどの程度向上させるか？
• RQ4 提案されたフレームワークは、二値質問およびオープンエンド質問の両設定において、既存の意見QA手法を上回る性能を示すか？特に現実世界の多様な意見状況において。
• RQ5 複数回答での学習による性能向上は、意見多様性が異なるさまざまな製品カテゴリにわたり一貫しているか？

主な発見

• 複数回答での学習（m-MoE）は、すべての製品カテゴリにおいて、単一回答ベースライン（s-MoE）と比較してAUC性能で統計的に有意な向上を示した。
• 庭園・庭・ガーデニングカテゴリでは、m-MoEがAUC 0.8737を達成し、s-MoEの0.8640と比較して0.97%の向上を示した。
• 工具・ホームインプラーベーションカテゴリでは、m-MoEがAUC 0.8760を達成し、s-MoEの0.8676から上昇した。これは、分野をまたいで一貫した向上を示している。
• 主観的特徴の組み込み（m-MoE-S）は、大多数のカテゴリで性能向上をもたらさなかった。これは、レビューからのコンテンツ特徴がセンチメントラベル単体よりも予測力が高い可能性を示唆している。
• 健康・個人ケアカテゴリでは、m-MoEがAUC 0.8801を達成し、s-MoEの0.8640と比較して1.04%の向上を示した。これは、極めて主観的な分野において顕著な向上を示している。
• 結果から、複数回答での学習による曖昧さのモデル化が、とくにオープンエンドおよび主観的な質問タイプにおいて、より繊細で正確な意見検索を可能にすることを示している。