[論文レビュー] A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection

Tian Shi, Liuqing Li+2 more|arXiv (Cornell University)|Sep 18, 2020

Sentiment Analysis and Opinion Mining参考文献 54被引用数 7

ひとこと要約

本稿では、滑らかな自己注意（SSA）モジュールと高解像度選択的マッピング（HRSMap）を備えた自己教師付き対照学習フレームワークを提案し、教師なしアスペクト検出において、アスペクト表現学習とマッピング精度を顕著に向上させた。この手法は、7つのベンチマークデータセットにおいて、最近の教師なしおよび弱教師あり手法を上回り、解釈可能で高カバレッジのアスペクトを、ゴールスタンダードのカテゴリとよく一致させる。

ABSTRACT

Unsupervised aspect detection (UAD) aims at automatically extracting interpretable aspects and identifying aspect-specific segments (such as sentences) from online reviews. However, recent deep learning-based topic models, specifically aspect-based autoencoder, suffer from several problems, such as extracting noisy aspects and poorly mapping aspects discovered by models to the aspects of interest. To tackle these challenges, in this paper, we first propose a self-supervised contrastive learning framework and an attention-based model equipped with a novel smooth self-attention (SSA) module for the UAD task in order to learn better representations for aspects and review segments. Secondly, we introduce a high-resolution selective mapping (HRSMap) method to efficiently assign aspects discovered by the model to aspects of interest. We also propose using a knowledge distilling technique to further improve the aspect detection performance. Our methods outperform several recent unsupervised and weakly supervised approaches on publicly available benchmark user review datasets. Aspect interpretation results show that extracted aspects are meaningful, have good coverage, and can be easily mapped to aspects of interest. Ablation studies and attention weight visualization also demonstrate the effectiveness of SSA and the knowledge distilling method.

研究の動機と目的

• アスペクトベースのオートエンコーダー（ABAE）が、強固な表現を学習する点と、ノイズの多いモデルが発見したアスペクトを意味のある関心対象のアスペクトにマッピングする点における限界を解決する。
• 自己教師付き対照学習問題として教師なしアスペクト検出を定式化することで、より良いセグメントおよびアスペクト表現を学習する。
• モデルが発見したアスペクトを事前に定義されたゴールスタンダードのアスペクトにマッピングする精度を向上させるために、高解像度選択的マッピング（HRSMap）戦略を開発する。
• エントロピーでフィルタリングされた高信頼度のサンプルを用いて、BERTベースの学生モデルを訓練することで、知識蒸留を活用し、検出性能をさらに向上させる。

提案手法

• 対照損失を用いて、アスペクト埋め込みとそれに対応する単語埋め込みを一致させるように、自己教師付き対照学習問題として教師なしアスペクト検出を定式化する。
• 単一の単語ではなく、フレーズや複数のキーワードに注目するよう促す、滑らかな自己注意（SSA）機構を導入し、セグメント表現学習を改善する。
• 意味のあるキーワードクラスタを特定することで、モデルが発見したアスペクトをゴールスタンダードのアスペクトにマッピングする高解像度選択的マッピング（HRSMap）手法を実装する。
• 教師モデルから抽出されたソフトラベルを用いて、エントロピーのフィルタリングを施した高信頼度のサンプルを優先して訓練するBERTベースの学生モデルを知識蒸留により訓練する。
• 温度スケーリング付き交差エントロピー損失を用いた対照学習目的関数を導入し、埋め込み空間内でのアスペクト埋め込みと最近接単語との一致を最適化する。
• 知識蒸留損失においてエントロピーのフィルタを適用し、学生モデルが低信頼度の予測に過剰適合するのを防ぎ、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のオートエンコーダーに基づく手法と比較して、自己教師付き対照学習は、教師なしアスペクト検出におけるアスペクト表現の質を向上させることができるか？
• RQ2 提案された滑らかな自己注意（SSA）機構は、標準的な自己注意と比較して、より強固で解釈可能な注目パターンを生み出すか？
• RQ3 高解像度選択的マッピング（HRSMap）は、標準的なマッピング戦略と比較して、モデルが推論したアスペクトをゴールスタンダードのアスペクトにマッピングする精度を顕著に向上させることができるか？
• RQ4 知識蒸留は、特にBERTベースの学生ネットワークを用いる場合に、アスペクト検出モデルの性能をどの程度向上させるか？
• RQ5 滑らかさ係数λやバッチサイズなどのハイパーパrameterは、提案モデルの安定性と性能にどのような影響を及ぼすか？

主な発見

• SSAおよびHRSMapを備えた自己教師付き対照学習フレームワークは、7つのベンチマークデータセットにおいて最先端の性能を達成し、重み付きマクロF1スコアの観点から、最近の教師なしおよび弱教師あり手法を上回った。
• アブレーションスタディの結果、標準的な自己注意や平均プーリングに置き換えると性能が低下し、滑らかな注目メカニズムの有効性が確認された。
• 知識蒸留におけるエントロピーのフィルタは、モデルの一般化性能を向上させた。アブレーション結果から、低信頼度のサンプルをフィルタリングすることで明確な性能向上が得られた。
• SSAにおける滑らかさ係数λは、λ ≤ 1の範囲で安定的かつ最適な性能を示し、それ以上の値では性能が低下した。
• バッチサイズはF1スコアに正の影響を及ぼし、バッチサイズ50でスコアが安定化した。これは、性能と計算コストの最適なトレードオフとして選択された。
• 注目可視化の結果、SSAは「volume scenes」や「great value, 499」などの意味のあるフレーズを捉えていることが確認され、解釈可能性とアスペクトの一貫性が向上した。