[論文レビュー] Adding Attentiveness to the Neurons in Recurrent Neural Networks

Pengfei Zhang, Jianru Xue+4 more|arXiv (Cornell University)|Jul 12, 2018

Human Pose and Action Recognition参考文献 43被引用数 8

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）の性能を向上させるために、ニューロンレベルでの入力ベクトルの要素ごとの注目メカニズムを可能にする、シンプルで効果的なメカニズム、Element-wise-Attention Gate（EleAttG）を提案する。GRU、LSTM、または標準的なRNNなどのRNNブロックにEleAttGを適用することで、3DスケルトンおよびRGB動画データのアクション認識タスクにおいて、収束が速くなり、顕著な性能向上が達成され、NTU、N-UCLA、SYSUデータセットで最先端の結果を達成する。

ABSTRACT

Recurrent neural networks (RNNs) are capable of modeling the temporal dynamics of complex sequential information. However, the structures of existing RNN neurons mainly focus on controlling the contributions of current and historical information but do not explore the different importance levels of different elements in an input vector of a time slot. We propose adding a simple yet effective Element-wiseAttention Gate (EleAttG) to an RNN block (e.g., all RNN neurons in a network layer) that empowers the RNN neurons to have the attentiveness capability. For an RNN block, an EleAttG is added to adaptively modulate the input by assigning different levels of importance, i.e., attention, to each element/dimension of the input. We refer to an RNN block equipped with an EleAttG as an EleAtt-RNN block. Specifically, the modulation of the input is content adaptive and is performed at fine granularity, being element-wise rather than input-wise. The proposed EleAttG, as an additional fundamental unit, is general and can be applied to any RNN structures, e.g., standard RNN, Long Short-Term Memory (LSTM), or Gated Recurrent Unit (GRU). We demonstrate the effectiveness of the proposed EleAtt-RNN by applying it to the action recognition tasks on both 3D human skeleton data and RGB videos. Experiments show that adding attentiveness through EleAttGs to RNN blocks significantly boosts the power of RNNs.

研究の動機と目的

• 時間ステップにわたる入力ベクトル要素の重要度の変動を捉えることのできない従来のRNNの限界を解決する。
• 要素レベルでの細かい、コンテンツに適応した注目メカニズムを導入することで、RNNの顕著な入力特徴への選択的集中能力を向上させる。
• 任意のRNN構造（例：GRU、LSTM、標準的なRNN）にシームレスに統合可能な汎用的で、アーキテクチャに依存しない注目モジュールを構築する。
• 特に3DスケルトンおよびRGB動画を用いたアクション認識において、多様な順序付きモデリングタスクにわたる本手法の有効性を実証する。
• パrameter予算が同等の場合、モデルの深さや幅を増やすのではなく、入力レベルに注目を追加する方が効果的であることを示す。

提案手法

• 入力ベクトルと同じ次元を持つ注目ベクトルを生成する学習可能なモジュールとして、Element-wise-Attention Gate（EleAttG）を提案する。
• Sigmoid活性化関数を用いて、和が1になる制約を回避することで、入力ベクトルの各要素に対して前処理の段階で要素ごとの注目を調節する。
• GRU、LSTM、標準的なRNNなどのRNNブロックにEleAttGを統合し、複数層にスタック可能な新しいアーキテクチャ、EleAtt-RNNを構築する。
• 動的で入力依存の注目を可能にするために、次のRNN計算の入力として、$\widetilde{\mathbf{x}}_t = \text{EleAttG}(\mathbf{x}_t) \odot \mathbf{x}_t$ として変換された入力を使用する。
• バックプロパゲーションを用いて、注目重みが最適化中に学習されるように、ネットワーク全体をエンドツーエンドで訓練する。
• 相互抑制を避けるために、EleAttGではSoftmaxを使用せず、独立した注目スケーリングのためにSigmoidを採用する。

実験結果

リサーチクエスチョン

• RQ1 入力レベルに要素ごとの注目を導入することで、順序付きモデリングタスクにおけるRNNの表現能力が向上するか？
• RQ2 提案されたEleAttGメカニズムは、標準的なRNNバージョンと比較して、アクション認識において収束が速く、一般化性能が優れているか？
• RQ3 EleAttGでは和が1になる制約がないが、正規化を強制する注目メカニズムと比較して、性能にどのような影響を与えるか？
• RQ4 パrameter数を一定に保った場合、ネットワークの深さや幅を増やすのと比較して、本手法の注目メカニズムはより効果的か？
• RQ5 EleAttGは、GRU、LSTM、標準的なRNNなどの異なるRNNアーキテクチャに普遍的に適用可能であり、一貫した性能向上をもたらすか？

主な発見

• EleAtt-GRUモデルは、3Dスケルトンベースのアクション認識において、NTU、N-UCLA、SYSUデータセットで最先端の性能を達成し、ベースラインのGRUモデルを上回る。
• NTUデータセットでは、2層、1層あたり100ニューロンのEleAtt-GRUがCVプロトコルで85.5%の正確度を達成し、ベースラインの2-GRU(100)モデルより4.1%の向上を示した。
• RGB動画のアクション認識においても、EleAtt-GRUモデルはJHMDBおよびNTUデータセットの両方で顕著な向上を示し、異なるデータモダリティにわたる一般化能力を示した。
• 実験の結果、EleAttGでSoftmaxの代わりにSigmoidを使用することで、より良い性能が得られ、特に2番目のGRU層に適用した場合、NTUデータセットのCVプロトコルで3.5%の正確度向上が確認された。
• 同程度のパrameter数を想定した場合、EleAttGを追加することで、ニューロン数や層数を増やすのと比較して、性能向上がより顕著であり、2-EleAtt-GRU(100)は2-GRU(100)と比較して3.1–4.1%の正確度向上を示した。
• 訓練損失曲線の分析から、EleAtt-GRUはベースラインのGRUと比較して、収束が早く、最終的な損失も低く抑えられており、最適化ダイナミクスの向上が確認された。