[論文レビュー] Sentiment analysis with adaptive multi-head attention in Transformer

Fanfei Meng, Wang, Chen-Ao|arXiv (Cornell University)|Oct 23, 2023

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、入力文の長さに応じて注意ヘッド数を動的に調整する、トランスフォーマーにおける新規な適応的マルチヘッドアテンションメカニズム「AdaptAttn」を提案する。短い文には2ヘッド、中程度の長さの文には4ヘッド、長い文には8ヘッドを割り当てる。スタンフォード大映画レビュー・データセット上で評価した結果、ベースラインモデルと同等のF1スコアを達成しながら、動的ヘッド割り当てにより計算オーバーヘッドを低減した。

ABSTRACT

We propose a novel framework based on the attention mechanism to identify the sentiment of a movie review document. Previous efforts on deep neural networks with attention mechanisms focus on encoder and decoder with fixed numbers of multi-head attention. Therefore, we need a mechanism to stop the attention process automatically if no more useful information can be read from the memory.In this paper, we propose an adaptive multi-head attention architecture (AdaptAttn) which varies the number of attention heads based on length of sentences. AdaptAttn has a data preprocessing step where each document is classified into any one of the three bins small, medium or large based on length of the sentence. The document classified as small goes through two heads in each layer, the medium group passes four heads and the large group is processed by eight heads. We examine the merit of our model on the Stanford large movie review dataset. The experimental results show that the F1 score from our model is on par with the baseline model.

研究の動機と目的

• 感情分析における固定マルチヘッドアテンションの非効率性を解消し、入力長に応じて注意ヘッド数を調整することを目的とする。
• 感情分類タスクのパフォーマンスを損なわず、アテンションメカニズムの計算コストを低減することを目的とする。
• レビューを小・中・大の3つのカテゴリに分類するデータ駆動型の長さベースのボーリング戦略を導入し、タスクに応じた注意ヘッド割り当てを可能とすることを目的とする。
• 適応的アテンションの有効性を、ベンチマーク感情分析データセット上で、モデルの効率性と競争力のあるF1スコアの維持という観点から評価することを目的とする。

提案手法

• モデルは事前処理段階で入力文を3つの長さベースのボックスに分類する：小（短い）、中（中程度）、大（長い）。
• 各ボックスには固定された注意ヘッド数が割り当てられる：小文には2ヘッド、中文には4ヘッド、大文には8ヘッドを、すべてのトランスフォーマー層に適用する。
• 適応的メカニズムにより、入力長に応じてヘッド数を動的に調整し、すべての入力に対して固定ヘッド数を維持する必要がなくなる。
• 標準のトランスフォーマーエンコーダ層を維持するが、マルチヘッドアテンションメカニズムを入力長に応じてヘッド数をスケーリングするように変更する。
• アテンション計算は標準のスケーリングドットプロダクトアテンションに従うが、ヘッド数はハイパーパramータではなく、入力長のボックスに依存して決定される。
• モデルはスタンフォード大映画レビュー・データセット上で、バイナリ感情分類のための標準的な交差エントロピー損失を用いて微調整される。

実験結果

リサーチクエスチョン

• RQ1 入力長に応じて注意ヘッド数を動的に調整することで、計算コストを低減しつつ感情分析のパフォーマンスを向上させられるか？
• RQ2 固定ヘッド数のトランスフォーマーと比較して、適応的マルチヘッドアテンションメカニズムは感情分類ベンチマークで優れた性能を示すか？
• RQ3 文の長さに基づくボーリング戦略は、入力長と最適な注意ヘッド数の関係を効果的に捉えているか？
• RQ4 提案手法は、標準的なトランスフォーマーと比較してパrameter数とFLOPsを削減しながら、競争力のあるF1スコアを維持できるか？

主な発見

• 提案されたAdaptAttnモデルは、スタンフォード大映画レビュー・データセットにおいて、ベースラインモデルと同等のF1スコアを達成した。
• 短い文に対して注意ヘッド数を減らすことで、計算効率が向上し、FLOPsと推論コストが低減された。
• 文の長さのボックスに基づく適応的ヘッド割り当て戦略のおかげで、さまざまな入力長にわたりパフォーマンスが安定した。
• 結果から、固定マルチヘッド構成は最適でない可能性があり、入力長に応じた適応的ヘッド数が、リソース使用量を削減しつつ同等のパフォーマンスを達成できることが示唆された。