[論文レビュー] Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis

Jialong Tang, Ziyao Lu+5 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 25被引用数 13

ひとこと要約

本稿では、トレーニングデータから注目（attention）の監視信号を自動で抽出し、注目メカニズムを改善する段階的自己教師付き注目学習手法を提案する。繰り返し、最大の注目重みを持つ文脈語を特定・マスクすることで、予測の正誤に基づいてその語を「活性的（active）」または「誤解を招く（misleading）」と分類し、注目メカニズムを正則化することで、頻出のセンチメント語に過剰に依存するのを防ぐ。この手法により、複数のデータセットで最先端モデルを上回る顕著な性能向上が達成された。

ABSTRACT

In aspect-level sentiment classification (ASC), it is prevalent to equip dominant neural models with attention mechanisms, for the sake of acquiring the importance of each context word on the given aspect. However, such a mechanism tends to excessively focus on a few frequent words with sentiment polarities, while ignoring infrequent ones. In this paper, we propose a progressive self-supervised attention learning approach for neural ASC models, which automatically mines useful attention supervision information from a training corpus to refine attention mechanisms. Specifically, we iteratively conduct sentiment predictions on all training instances. Particularly, at each iteration, the context word with the maximum attention weight is extracted as the one with active/misleading influence on the correct/incorrect prediction of every instance, and then the word itself is masked for subsequent iterations. Finally, we augment the conventional training objective with a regularization term, which enables ASC models to continue equally focusing on the extracted active context words while decreasing weights of those misleading ones. Experimental results on multiple datasets show that our proposed approach yields better attention mechanisms, leading to substantial improvements over the two state-of-the-art neural ASC models. Source code and trained models are available at https://github.com/DeepLearnXMU/PSSAttention.

研究の動機と目的

• アスペクトレベルのセンチメント分類における既存のニューラル注目メカニズムの限界、すなわち高頻度のセンチメント語に過剰に注目する一方で、低頻度ではあるが情報量の多い語を無視する問題に対処すること。
• 注目監視のための高コストな手作業ラベル付けを回避するため、トレーニングデータからそのような信号を自動で抽出する自己教師付き手法を開発すること。
• 予測の正誤に基づいて繰り返し注目重みを精錬することで、注目メカニズムのロバスト性と一般化性能を向上させること。
• 活性語への注目を促進し、誤解を招く語への注目を抑制する正則化項を組み込むことで、アスペクトレベルのセンチメント分類のモデル性能を向上させること。

提案手法

• 注目メカニズムを備えたニューラルASCモデルを用いて、すべてのトレーニングインスタンスに対して段階的にセンチメント予測を実行する。
• 各イテレーションにおいて、各トレーニングインスタンスで最大の注目重みを持つ文脈語を注目監視信号の候補として抽出する。
• 正解ラベルに基づき、予測が正しければその語を「活性的」と分類し、誤りであれば「誤解を招く」と分類する。
• 以前に抽出された語をすべてマスクすることで、再処理を防ぎ、以降のイテレーションで新たなパターンの発見を促進する。
• 活性語に対して高い注目重みを維持し、誤解を招く語に対しては重みを低減するよう促す正則化項を構築する。
• 標準的な学習目的関数にこの正則化項を追加することで、イテレーションを経て段階的に注目メカニズムを精錬する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータから自己教師付きで段階的に注目信号をマイニングすることで、アスペクトレベルのセンチメント分類における注目メカニズムが改善できるか？
• RQ2 高頻度のセンチメント語への過剰な依存を低減することで、未学習のテストインスタンスにおける一般化性能が向上するか？
• RQ3 人為的注目ラベルが不要な、段階的かつ自動的な手法が、手作業による注目監視を代替できるか？
• RQ4 提案された正則化項は、頻出語と低頻度語の両方における注目バランスを効果的に調整できるか？
• RQ5 最先端のニューラルASCモデルにおける正確性と注目メカニズムの質の両面で、この手法はどの程度の向上を達成するか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて、2つの最先端ニューラルASCモデルの性能を注目メカニズムの精錬により顕著に向上させた。
• 注目可視化の結果、頻出語（例：'small' や 'cute'）への過剰な注目が減少し、文脈的に関連性のあるが低頻度の語（例：'crowded'）への注目が向上した。
• 語 'cute' に関しては、ネガティブまたはニュートラルな文脈下での平均注目重みが元の値の7%まで低下し、以前に誤分類されていたインスタンスで正しく予測されるようになった。
• テストインスタンスにおいて 'cute' の注目重みを 0.1090 から 0.0062 に低下させることで、誤解を招く注目を効果的に抑制し、正しく予測を達成した。
• 段階的自己教師付きアプローチは、このような正則化を施さないモデルを上回り、自動で抽出された注目監視信号の有効性を示した。
• ソースコードとトレーニング済みモデルは公開されており、注目メカニズムの精錬に関する再現性とさらなる研究を支援する。