[論文レビュー] Learning to Answer Subjective, Specific Product-Related Queries using Customer Reviews by Adversarial Domain Adaptation

Manirupa Das, Zhen Wang+4 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 23被引用数 2

ひとこと要約

本稿では、ラベルなしの顧客レビューを活用して、主観的で製品固有の質問に答えるために、敵対的ドメイン適応モデルを提案する。このモデルはドメイン不変特徴を学習することで、教師ありベースラインを上回り、ドメイン外の質問-レビュー対分類において77.17%の精度を達成した。これは、完全に教師ありの手法と同等の性能を示したが、レビューのラベルなしデータを用いた。

ABSTRACT

Online customer reviews on large-scale e-commerce websites, represent a rich and varied source of opinion data, often providing subjective qualitative assessments of product usage that can help potential customers to discover features that meet their personal needs and preferences. Thus they have the potential to automatically answer specific queries about products, and to address the problems of answer starvation and answer augmentation on associated consumer Q & A forums, by providing good answer alternatives. In this work, we explore several recently successful neural approaches to modeling sentence pairs, that could better learn the relationship between questions and ground truth answers, and thus help infer reviews that can best answer a question or augment a given answer. In particular, we hypothesize that our adversarial domain adaptation-based approach, due to its ability to additionally learn domain-invariant features from a large number of unlabeled, unpaired question-review samples, would perform better than our proposed baselines, at answering specific, subjective product-related queries using reviews. We validate this hypothesis using a small gold standard dataset of question-review pairs evaluated by human experts, significantly surpassing our chosen baselines. Moreover, our approach, using no labeled question-review sentence pair data for training, gives performance at par with another method utilizing labeled question-review samples for the same task.

研究の動機と目的

• 主観的な質問に答えるために、関連する製品レビューを自動的に取得することで、eコマースQ&Aフォーラムにおける回答不足と回答拡張を解決する。
• ラベル付きの質問-回答対とラベルなしの質問-レビュー対の間のドメインシフトを克服する。これらは異なる言語的分布に由来する。
• ラベル付きの質問-回答対からの弱い監督と、豊富なラベルなしレビューのみを用いる最小限の監督手法を開発する。
• レビューの関連性を明示的にアノテートする必要なしに、関連するレビュー文を答えの代替案としてエンドツーエンドで学習可能にする。
• ドメイン敵対的訓練が、異なる分布を持つ質問-回答対と質問-レビュー対の表現を効果的に統合できることを示す。

提案手法

• ドメイン敵対的ニューラルネットワーク（DANN）フレームワークを変更し、共通の埋め込み空間で質問-回答対と質問-レビュー対を同時に分類する。
• ラベル付きの質問-回答対をソースドメインデータとして用い、文のペア分類モデル（例：ABCNN、RTE）を訓練して、特定の質問に回答するレビュー文かどうかを分類する。
• ドメイン識別器を導入し、ドメイン固有の特徴を最小化することで、文エンコーダーが質問-回答対と質問-レビュー対の両方でドメイン不変の表現を学習するように強制する。
• 敵対的訓練中に、eコマースウェブサイトから得た大規模なラベルなしの質問-レビュー対をターゲットドメインデータとして用い、一般化性能を向上させる。
• 訓練中に、ラベル付きの質問-回答対のみを用いてモデルをファインチューニングするが、広範なラベルなしレビューを活用して、新しいドメインへのゼロショット一般化性能を向上させる。
• バックプロパゲーション中に勾配反転を適用し、ドメイン識別器が文エンコーダーがドメインに依存しない特徴を生成するように誘導できるようにする。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応は、製品質問応答におけるラベル付きの質問-回答対とラベルなしの質問-レビュー対の間の分布ギャップを効果的に埋めることができるか？
• RQ2 ラベルなしのレビューデータを一切使用せず、ラベル付きの質問-回答対で学習したモデルが、新しい主観的な製品質問に対して関連するレビューを特定する能力はどの程度高いか？
• RQ3 大量のラベルなしレビューを組み込むことで、教師ありベースラインと比較して、ドメイン外の質問-レビュー対分類の性能が向上するか？
• RQ4 ラベル付きの質問-レビュー対を必要とする完全に教師ありのモデルと比較して、提案手法の性能はどの程度か？
• RQ5 レビューが関連性について明示的にアノテートされていなくても、モデルは関連するレビュー文を答えの代替案として正しく特定できるか？

主な発見

• DANNベースのモデルは、ドメイン外の質問-レビュー対分類において77.17%の精度を達成し、ABCNN（64.0%）やRTE（66.67%）といったベースラインモデルを顕著に上回った。
• ラベル付きの質問-回答対のみを用い、ラベルなしのレビューを一切使用しなかったにもかかわらず、完全に教師ありの手法（QAR-Net）のF1スコア（56.23% vs. 57.05%）を上回り、精度（64.11% vs. 53.85%）も向上させた。
• ドメイン適応により、ターゲットドメイン評価での性能が顕著に向上し、適応なしの場合（50.11%）から適応ありの場合（77.17%）に精度が上昇した。
• モデルは未観測ドメインに対しても良好に一般化でき、敵対的訓練後にターゲットドメインのテストセットでの性能が著しく向上した。これは、効果的なドメイン一般化を示している。
• 表5の定性的な例から、実世界のクエリに対して、明示的なレビューの関連性アノテーションなしに、適切な回答を正しく特定していることが示された。
• アブレーションスタディにより、ドメイン適応が性能向上の主な要因であることが確認された。ドメイン適応を適用したモデルは、エレクトロニクス、自動車、ベビーなど、すべてのカテゴリでベースラインを上回った。