[論文レビュー] A Failure of Aspect Sentiment Classifiers and an Adaptive Re-weighting Solution

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|Nov 4, 2019

Sentiment Analysis and Opinion Mining参考文献 48被引用数 7

ひとこと要約

この論文は、アスペクトセンチメント分類器に重大な欠陥が存在することを特定している：対照的文（異なるアスペクトに対して逆のセンチメントを持つ文）に対する監視が不十分であるため、多くの場合、モデルは文レベルのセンチメント分類器に劣化してしまう。これを解決するために、著者らは動的学習スキームである適応的再重み付け（ARW）を提案する。ARWは、誤分類された対照的例の損失重みを自動で増加させることで、これらの困難なケースにおける性能を著しく向上させるとともに、全体の精度を維持する。

ABSTRACT

Aspect-based sentiment classification (ASC) is an important task in fine-grained sentiment analysis.~Deep supervised ASC approaches typically model this task as a pair-wise classification task that takes an aspect and a sentence containing the aspect and outputs the polarity of the aspect in that sentence. However, we discovered that many existing approaches fail to learn an effective ASC classifier but more like a sentence-level sentiment classifier because they have difficulty to handle sentences with different polarities for different aspects.~This paper first demonstrates this problem using several state-of-the-art ASC models. It then proposes a novel and general adaptive re-weighting (ARW) scheme to adjust the training to dramatically improve ASC for such complex sentences. Experimental results show that the proposed framework is effective \footnote{The dataset and code are available at \url{https://github.com/howardhsu/ASC_failure}.}.

研究の動機と目的

• 最先端のアスペクトセンチメント分類器（ASC）が、複数のアスペクトが逆のセンチメントを持つ文でなぜ失敗するかを調査すること。
• その根本的な原因が、訓練データに対照的文が不足していることによるものであり、モデルが文レベルのセンチメントに依存するようになることの証明。
• 手動でのデータバランス調整なしに、希少だが重要な対照的例の学習を改善する一般化可能で適応的な再重み付け戦略の開発。
• 提案手法が、対照的文の分類性能を向上させるとともに、全体のASC精度を損なわず維持または向上させることの確認。

提案手法

• 著者らは、訓練中に誤分類された対照的文からの例の重要性を高める動的損失再重み付けスキーム、すなわち適応的再重み付け（ARW）を提案する。
• ARWは、モデルの信頼度と予測誤差に基づいて例の重みを計算し、しばしば無視されがちな難易度の高い対照的インスタンスに焦点を当てる。
• 再重み付けは各エポックごとに適用され、複数のアスペクトと逆の極性を持つ文からの例の損失寄与度を優先的に調整する。
• このアプローチはモデルに依存せず、深層学習ベースのASCフレームワークにアーキテクチャの変更なしに統合可能である。
• 再重み付け機構はAdaBoostにインspiredされているが、単一モデルの深層学習に適応されており、反復的に対照的ケースの誤りを是正することに焦点を当てる。
• 本手法はSemEval 2014のデータセット（ラップトップおよびレストラン）で評価され、アブレーションスタディにより有効性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 既存の深層学習ベースのアスペクトセンチメント分類器が、複数のアスペクトが逆のセンチメントを持つ文を正しく分類できない理由は何か？
• RQ2 訓練データに対照的文が不足していることが、ASCモデルが文レベルのセンチメント分類器に劣化する要因としてどの程度寄与しているか？
• RQ3 適応的再重み付け戦略は、希少だが重要な対照的文の学習を改善できるか？
• RQ4 提案されたARW手法は、対照的文と全テストセットの両方で性能を向上させることができるか？また、全体の精度を損なわないか？

主な発見

• 研究では、既存のASCモデルが対照的文（異なるアスペクトに対して逆のセンチメントを持つ文）でしばしば失敗することを明らかにした。これは、訓練例が不十分であるためである。
• SemEval 2014のような標準データセットでは、対照的文が希少であるため、モデルは文レベルのセンチメントに依存するという「ショートカット」を採用し、細分化された分類性能が低下する。
• 提案された適応的再重み付け（ARW）手法は、対照的文における分類精度を著しく向上させ、希少で困難な例の処理における有効性を示している。
• ARWは全テストセットにおける性能を維持、あるいは向上させており、対照的ケースに注力しても一般化性能が損なわれないことを示している。
• アブレーションスタディにより、動的再重み付け機構が不可欠であることが確認され、静的または手動の重み付け方式は劣る性能を示した。
• この手法は、さまざまなASCアーキテクチャに一般化可能で、特定のモデルに限定されない広範な適用可能性を示している。