[論文レビュー] A spatiotemporal model with visual attention for video classification

Mo Shan, Nikolay Atanasov|arXiv (Cornell University)|Jul 7, 2017

Video Surveillance and Tracking Methods参考文献 11被引用数 4

ひとこと要約

本稿では、視覚的注意メカニズム（特に可変畳み込みニューラルネットワーク（DCN）と空間変換ネットワーク（STN））をCNN-LSTMアーキテクチャに統合した時空間動画分類モデルを提案する。これにより、物体の回転やスケーリングの変化に対する耐性が向上する。DCN-LSTMバリアントは、回転、スケーリング、および弾性変形を含む拡張されたMoving MNISTで99％を超える精度を達成し、LeNet-LSTMおよびSTN-LSTMを上回り、グローバルな幾何変換ではなく局所的で学習可能な特徴の変形が優れていることを示している。

ABSTRACT

High level understanding of sequential visual input is important for safe and stable autonomy, especially in localization and object detection. While traditional object classification and tracking approaches are specifically designed to handle variations in rotation and scale, current state-of-the-art approaches based on deep learning achieve better performance. This paper focuses on developing a spatiotemporal model to handle videos containing moving objects with rotation and scale changes. Built on models that combine Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) to classify sequential data, this work investigates the effectiveness of incorporating attention modules in the CNN stage for video classification. The superiority of the proposed spatiotemporal model is demonstrated on the Moving MNIST dataset augmented with rotation and scaling.

研究の動機と目的

• 実世界の自律システムで一般的な回転やスケーリングの変化といった幾何変換に対して、動画分類の耐性を向上させること。
• 標準的なCNN-RNNアーキテクチャを上回る、視覚的注意メカニズムが時空間モデリングに与える影響を調査すること。
• 異なる注意モジュール（STNとDCN）が順次動画データにおける物体の変形を処理する上で、どの程度効果的かを比較すること。
• 弾性変形の拡張を用いて、人間の手の動きのようなアーチキテクチャドオブジェクトへの一般化能力を評価すること。
• 動的でサイズが変化し、回転するオブジェクトを含む、実世界のロボットビジョンタスクへのモデルの拡張可能性を実証すること。

提案手法

• CNNバックボーンとLSTMを組み合わせた時系列モデリングを行い、最大プーリング層の代わりに視覚的注意モジュールを導入することで幾何的不変性を向上させる。
• 3つのバリエーションを評価：ベースラインのLeNet-LSTM、局所化ネットワークを用いてグローバルアフィン変換を予測するSTN-LSTM、学習可能なオフセットを用いて畳み込みカーネルを局所的に変形するDCN-LSTM。
• STNモジュールは、局所化ネットワークを介してアフィンパラメータを推定し、グリッドジェネレータと双線形サンプラーを用いて空間変換を適用する。
• DCNモジュールは、標準的な畳み込みカーネルのサンプリンググリッドに学習可能なオフセットを導入し、適応的で空間的に変化する受容 field を可能にする。
• 実世界の運動や手の震えを模倣するため、回転、スケーリング、および弾性変形を含む拡張されたMoving MNISTデータセット上で、ネットワークをエンドツーエンドで訓練する。
• 失敗モードを診断するための定性的分析を実施し、特に複数の独立して動くオブジェクトに対してグローバルなSTNが注目できないことの問題を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNN-RNNモデルと比較して、視覚的注意メカニズムは物体の回転やスケーリングの変化に対して動画分類性能を向上させることができるか？
• RQ2 STN（グローバル）とDCN（ローカル）という異なる注意メカニズムは、動画データにおける幾何変換処理において、どのように比較されるか？
• RQ3 注意モジュールの統合により、手書きの数字の動きのような複雑な変形を伴う困難なデータへの一般化が向上するか？
• RQ4 複数のオブジェクトが存在する際、空間的構成を正規化できるにもかかわらず、なぜSTN-LSTMは性能が低いのか？
• RQ5 提案されたモデルは、自然な動きにおけるアーチキテクチャドオブジェクト（例：手）を認識するために拡張可能か？

主な発見

• DCN-LSTMは、弾性変形を伴う数字のジェスチャー認識で99.30％の精度を達成し、LeNet-LSTM（97.19％）およびSTN-LSTM（97.19％）を顕著に上回った。
• 拡張されたMoving MNISTデータセットでは、DCN-LSTMは回転、スケーリング、および組み合わせた変換のすべてのタイプにおいて99％以上の精度を維持した。
• STN-LSTMはスケーリングされた画像に対して性能が低く、複数のオブジェクトに対してグローバル変換のため、すべてのモデルの中で最も低い精度を示した。
• LeNet-LSTMは、すべての拡張に対して一貫したが低い性能を示し、最大プーリングが大規模な変化に対しては限界のある耐性を示していることがわかった。
• 定性的分析から、STNのグローバル変換がオブジェクト間の関係を歪める（例：離れているとズームアウトする）ことが判明し、分類精度に悪影響を与えていた。
• 結果から、ローカルで学習可能な変形（DCN）は、グローバルで剛体な変換（STN）よりも、動画シーケンスにおける複雑で変化する幾何的変化をモデル化するのに効果的であると考えられる。