[論文レビュー] I Wish I Would Have Loved This One, But I Didn't -- A Multilingual Dataset for Counterfactual Detection in Product Reviews

James O’Neill, Polina Rozenshtein+3 more|arXiv (Cornell University)|Apr 14, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、英語、ドイツ語、日本語のアマゾン製品レビューから構成される、文単位でアノテートされた、最初のマルチリンガル対仮説検出（CFD）データセットを紹介する。文脈を考慮したモデル（例：XLM-RoBERTa）がキーフレーズによる選択バイアスに対して頑健であるのに対し、機械翻訳では言語間の性能が保持されないことが示され、言語固有のデータセットの必要性が浮き彫りになる。

ABSTRACT

Counterfactual statements describe events that did not or cannot take place. We consider the problem of counterfactual detection (CFD) in product reviews. For this purpose, we annotate a multilingual CFD dataset from Amazon product reviews covering counterfactual statements written in English, German, and Japanese languages. The dataset is unique as it contains counterfactuals in multiple languages, covers a new application area of e-commerce reviews, and provides high quality professional annotations. We train CFD models using different text representation methods and classifiers. We find that these models are robust against the selectional biases introduced due to cue phrase-based sentence selection. Moreover, our CFD dataset is compatible with prior datasets and can be merged to learn accurate CFD models. Applying machine translation on English counterfactual examples to create multilingual data performs poorly, demonstrating the language-specificity of this problem, which has been ignored so far.

研究の動機と目的

• 英語以外の言語や、eコマースのような新規分野における、マルチリンガルで高品質なCFDデータセットの不足に対処すること。
• CFDモデルがキーフレーズに基づく文の選択によって引き起こされる選択バイアスに対して頑健であるかどうかを調査すること。
• 機械翻訳を用いてマルチリンガルCFDデータを作成する有効性を評価すること。
• さまざまなテキスト表現手法と分類器がマルチリンガルCFDタスクでどのように性能を発揮するかを比較すること。
• 事前学習済みモデルに内在する社会的バイアスが、製品レビューを対象とした下流のCFDタスクにどのように影響するかを評価すること。

提案手法

• 英語、ドイツ語、日本語のアマゾン製品レビューから、専門的な人手による文単位のアノテーションを施したマルチリンガルCFDデータセットを構築した。
• アノテーション効率を向上させるために、キーフレーズ（例：'would have'、'if only'）を用いて候補文を選定し、その後人手による検証を実施して正確性を確保した。
• 複数のテキスト表現手法（bag-of-words（BoN）、単語埋め込み、文脈を考慮したマスク言語モデル（例：BERT、XLM-RoBERTa））を用いて、二値分類器を訓練した。
• キーフレーズをトレーニングおよび推論時にマスクすることで、選択バイアスを模擬し、モデルの頑健性を評価した。
• 一般化性能をテストするために、キーフレーズを欠いた意味的に類似した文を英語データセットに追加した。
• 特に、機械翻訳によるマルチリンガル移行がどの程度効果的であるかを評価するために、言語間での性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 キーフレーズをトレーニング時にマスクした場合、CFDモデルの性能はどのように変化するか。これは、選択バイアスに対する頑健性を示す。
• RQ2 機械翻訳を用いてマルチリンガルCFDデータセットを効果的に作成できるか。それとも、言語固有のアノテーションが不可欠か。
• RQ3 BoN、単語埋め込み、文脈を考慮したトランスフォーマーのうち、どのテキスト表現手法が言語を問わず最も頑健なCFDモデルを生み出すか。
• RQ4 トークン化の違いにより、特に日本語においてCFDモデルの性能に顕著な差が生じるか。
• RQ5 事前学習済み言語モデルに内在する社会的バイアスが、製品レビューを対象としたCFDモデルにどの程度伝播するか。

主な発見

• XLM-RoBERTaなどのトランスフォーマー基盤モデルは、従来のBoNベースのモデルと比べて、キーフレーズのマスクに対して顕著に頑健であることが示され、語彙的キューに依存する度合いが低いことが示された。
• BoN特徴量を用いたSVMは、日本語データセットで最高の性能を示した。これは、日本語において言語固有のトークン化がサブワードトークン化（例：BPE）を上回ることを示唆している。
• すべてのモデルでキーフレーズをマスクした際の性能低下が観察されたが、文脈を考慮したモデルで最も低下が小さく、意味的頑健性が確認された。
• 英語データセットはSemEval-2020 CFDデータセットと互換性があり、統合されたデータでモデルを学習することで精度が向上した。
• 英語の対仮説文を他の言語に機械翻訳することで得られたデータでは、言語間分類性能が著しく低かった。これは、対仮説文が言語固有の性質を持つことを示している。
• XLM-RoBERTaなどの文脈を考慮した埋め込み表現は、少量のラベル付きデータでも高い性能を維持し、素早く収束した。これは、多様な対仮説パターンに対する優れた一般化能力を示している。