[論文レビュー] Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition

Yunfeng Wang, Wengang Zhou+2 more|arXiv (Cornell University)|May 8, 2018

Human Pose and Action Recognition参考文献 18被引用数 5

ひとこと要約

本稿では、2D CNNを用いた視覚的属性検出（例：物体、シーン）を2ストリームI3Dネットワークに統合することで、人間の行動認識を向上させる視覚的属性拡張型3次元CNNフレームワークA3Dを提案する。空間的・時間的特徴をRGBおよびオプティカルフロー・ストリームから得た特徴と、しきい値を用いた重み付き和を用いた属性に配慮した予測を融合することで、UCF101（97.4%）およびHMDB51（80.5%）で最先端の精度を達成し、I3D* や先行手法を上回った。

ABSTRACT

Visual attributes in individual video frames, such as the presence of characteristic objects and scenes, offer substantial information for action recognition in videos. With individual 2D video frame as input, visual attributes extraction could be achieved effectively and efficiently with more sophisticated convolutional neural network than current 3D CNNs with spatio-temporal filters, thanks to fewer parameters in 2D CNNs. In this paper, the integration of visual attributes (including detection, encoding and classification) into multi-stream 3D CNN is proposed for action recognition in trimmed videos, with the proposed visual Attribute-augmented 3D CNN (A3D) framework. The visual attribute pipeline includes an object detection network, an attributes encoding network and a classification network. Our proposed A3D framework achieves state-of-the-art performance on both the HMDB51 and the UCF101 datasets.

研究の動機と目的

• 視覚的属性（物体やシーンなど）を補助情報として統合することで、動画内の行動認識を向上させること。
• 行動認識の曖昧さ、例えば「ドーリンを演奏する」と「タブラを演奏する」を区別する際の混乱を、視覚的属性が解消できることを検証すること。
• 空間的・時間的3次元CNN特徴と2次元ベースの視覚的属性表現を効果的に統合するマルチストリームフレームワークを設計すること。
• 効率的な統合と属性パイプラインの選択的活性化を通じて、計算コストの増加を最小限に抑えつつ、性能向上を最大化すること。

提案手法

• A3Dフレームワークは、RGBおよびオプティカルフロー入力を処理する2ストリームI3D 3次元CNNパイプラインと、2次元フレーム分析のための別個の視覚的属性パイプラインを組み合わせる。
• 3次元CNNパイプラインでは、改訂されたイ早融合を採用：空間ストリームおよび時間ストリームの全結合層からの特徴を重み（w1=0.6, w2=0.4）で重み付けし、最終的なソフトマックス層の前で合算する。
• 視覚的属性パイプラインは、YOLO9000（Darknet-19）を用いて物体検出を行い、その後、Word2vec、NetVLAD、または平均プーリングによる属性符号化を実施する。
• 検出された属性上で微調整されたResNet-152分類器を用いて、二次的な予測p2を生成する。
• 最終的な予測pは、しきい値付き重み付き和により計算される：p = p1 × I(p1−T) + p2 × I(T−p1)，ここでI(x)はインジケータ関数、Tはグローバルしきい値である。
• フレームワークは、Kineticsで事前学習済みのI3D* に基づき、UCF101およびHMDB51でSGDおよび学習率の減少を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 検出された物体やシーンといった視覚的属性は、曖昧な動画ケースにおける行動認識性能を向上させることができるか？
• RQ2 3次元CNN特徴のイ早融合とラテント融合の間で、精度および頑健性の観点から、どちらが優れているか？
• RQ3 3次元CNN出力と視覚的属性予測を統合する最適な方法は何か？計算コストの増加を最小限に抑えつつ、認識性能を向上させることを目的とする。
• RQ4 異なる属性符号化手法（Word2vec、NetVLAD、平均プーリング）は、属性パイプラインの性能にどのような影響を与えるか？
• RQ5 3次元CNNの信頼度が低い場合にのみ属性パイプラインを選択的に活性化することで、性能にどのような影響があるか？

主な発見

• A3Dフレームワークは、3つのスプリットすべてでUCF101で97.4%、HMDB51で80.5%の最先端の精度を達成し、I3D*ベースラインおよび先行手法を上回った。
• 3次元CNNパイプラインにおける改訂されたイ早融合戦略により、UCF101（スプリット1）での精度が97.09%に向上し、元のラテント融合手法（95.67%）を上回った。
• 視覚的属性パイプライン単体でも、UCF101（スプリット1）で37.10%の精度を達成しており、ノイズが多いものの属性特徴が識別に有用な情報を保持していることを示した。
• A3D統合フレームワークは、UCF101で97.44%、HMDB51（スプリット1）で79.35%の精度を達成し、p1とp2をしきい値付き統合により統合することで性能が向上したことを示した。
• A3Dの計算コスト増加は最小限であり、UCF101およびHMDB51ではそれぞれ8.76%および6.71%の訓練時間増加にとどまった。
• アブレーションスタディにより、属性パイプラインが最終精度に有意に寄与しており、特に「ドーリンを演奏する」と「タブラを演奏する」のような曖昧なケースで、視覚的属性が混乱を解消することが確認された。