[論文レビュー] Hierarchical Multi-scale Attention Networks for Action Recognition

Shiyang Yan, Jeremy S. Smith+2 more|arXiv (Cornell University)|Aug 25, 2017

Human Pose and Action Recognition参考文献 19被引用数 5

ひとこと要約

本稿では、階層的マルチスケールRNNとアテンション機構を組み合わせることで、動画行動認識の性能を向上させる階層的マルチスケールアテンションネットワーク（HM-AN）を提案する。Gumbel-softmaxを用いた微分可能なハードアテンションと、適応的温度スケジューリングを採用することで、アテンション付きLSTMを凌駕し、HMDB51で44.2%の精度を達成した。可視化結果から、学習された時間的境界と動的アテンション領域が確認された。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely used in natural language processing and computer vision. Among them, the Hierarchical Multi-scale RNN (HM-RNN), a kind of multi-scale hierarchical RNN proposed recently, can learn the hierarchical temporal structure from data automatically. In this paper, we extend the work to solve the computer vision task of action recognition. However, in sequence-to-sequence models like RNN, it is normally very hard to discover the relationships between inputs and outputs given static inputs. As a solution, attention mechanism could be applied to extract the relevant information from input thus facilitating the modeling of input-output relationships. Based on these considerations, we propose a novel attention network, namely Hierarchical Multi-scale Attention Network (HM-AN), by combining the HM-RNN and the attention mechanism and apply it to action recognition. A newly proposed gradient estimation method for stochastic neurons, namely Gumbel-softmax, is exploited to implement the temporal boundary detectors and the stochastic hard attention mechanism. To amealiate the negative effect of sensitive temperature of the Gumbel-softmax, an adaptive temperature training method is applied to better the system performance. The experimental results demonstrate the improved effect of HM-AN over LSTM with attention on the vision task. Through visualization of what have been learnt by the networks, it can be observed that both the attention regions of images and the hierarchical temporal structure can be captured by HM-AN.

研究の動機と目的

• RNNを用いた動画行動認識において、複雑で階層的な時間的構造をモデル化する課題に取り組む。
• 標準的なRNNおよびLSTMが動画タスクにおいて直面する固定アテンションと消失勾配の限界を克服する。
• REINFORCEとは異なり、微分可能なGumbel-softmaxを用いて視覚タスクにおける確率的ハードアテンションを実装し、学習の安定性を向上させる。
• 適応的トレーニングスキームを用いることで、Gumbel-softmaxにおける温度ハイパーパrameterへの感受性を低減する。
• 可視化可能な解釈性を備えた、標準的な行動認識ベンチマークにおける提案モデルの有効性を検証する。

提案手法

• 動画シーケンス内のマルチスケール時間的依存性をモデル化するため、階層的マルチスケールRNN（HM-RNN）とアテンション機構を統合する。
• 確率的ハードアテンションユニットの微分可能トレーニングにGumbel-softmaxを用い、離散的なアテンション意思決定を逆誤差伝搬可能にする。
• Gumbel-softmaxにおける温度ハイパーパrameterへの感受性を低減するため、適応的温度スケジューリング戦略を適用する。
• 複数の階層的レベルに境界検出器を設け、時間的セグメント境界を自動的に学習する。
• アブレーションと比較のため、ソフトアテンション（特徴量の重み付き融合）とハードアテンション（単一領域への選択的注目）の両方を実装する。
• 空間的CNN特徴量を入力として、アテンションと境界検出を同時に学習するエンドツーエンドのトレーニングを実施する。

Figure 1: Network Structure: After the networks discover the implicit boundary relations of the multi-scale property, boundary detectors can set the networks into an explicit multi-scale architecture.

実験結果

リサーチクエスチョン

• RQ1 階層的マルチスケールRNNにアテンションを組み合わせることで、標準的なLSTMに比べて行動認識性能が向上するか？
• RQ2 REINFORCEと比較して、Gumbel-softmaxはハードアテンションの有効で安定したトレーニングを可能にするか？
• RQ3 適応的温度スケジューリングは、ハードアテンションにおけるGumbel-softmaxの性能と収束にどのように影響するか？
• RQ4 モデルは人間の行動認識と整合する意味のある時間的境界と空間的アテンション領域を学習できるか？
• RQ5 階層的時間的モデリングとアテンションの組み合わせにより、HMDB51やUCF Sportsといったベンチマークデータセットでの一般化性能が向上するか？

主な発見

• Adaptive-Gumbel-Hard Attentionバージョンは、HMDB51データセットで44.2%の精度を達成し、CHAM（43.4%）やベースラインLSTMを含む、テストされたすべてのRNNベース手法を上回った。
• UCF Sportsデータセットでは、Adaptive-Gumbel-Hard AttentionとREINFORCE-Hard Attentionの両方がソフトアテンションを上回った。これは、微分可能なハードアテンションによる性能向上を示している。
• HMDB51やOlympic Sportsといった大規模データセットでは、REINFORCE-Hard Attentionはソフトアテンションを下回ったが、Gumbel-softmaxベースのハードアテンションは、勾配分散が低いため優れた性能を維持した。
• 可視化結果から、HM-ANは時間経過に伴い動的アテンション領域を学習しており、各時刻で異なる空間的注目領域が明確に変化していることが確認された。
• モデルは複数のレイヤーにわたり階層的時間的境界を効果的に検出できており、$z_1$、$z_2$、$z_3$は異なる時間スケールでの境界を示している。
• 適応的温度スキームは、Gumbel-softmaxのハイパーパrameterへの感受性を効果的に低減し、手動による探索の必要性を削減した。

Figure 2: The attention mechanism: The soft attention assign weights on different locations of features using softmax whilst the values of hard attention map are either 1 or 0 which means only one important location is selected.