[論文レビュー] Do Less and Achieve More: Training CNNs for Action Recognition Utilizing Action Images from the Web

Shugao Ma, Sarah Adel Bargal+3 more|arXiv (Cornell University)|Dec 22, 2015

Human Pose and Action Recognition参考文献 26被引用数 4

ひとこと要約

本稿では、CNNを用いてWebからクロールした手作業でフィルタリングされた行動画像を活用することで、大規模な動画データセットへの依存を減らし、動画内の行動認識性能を顕著に向上させる手法を提案する。特に、手作業でフィルタリングされたまたはフィルタリングされていないWebソースからの行動画像を含めた学習により、動画のみで学習する場合に比べ、最大10.5%の絶対的向上を達成し、UCF101では91.1%の最先端性能を達成した。これは、ActivityNetの16.2Mフレームの半分を393Kの画像に置き換えても、性能に大きな差がないことを示している。

ABSTRACT

Recently, attempts have been made to collect millions of videos to train CNN models for action recognition in videos. However, curating such large-scale video datasets requires immense human labor, and training CNNs on millions of videos demands huge computational resources. In contrast, collecting action images from the Web is much easier and training on images requires much less computation. In addition, labeled web images tend to contain discriminative action poses, which highlight discriminative portions of a video's temporal progression. We explore the question of whether we can utilize web action images to train better CNN models for action recognition in videos. We collect 23.8K manually filtered images from the Web that depict the 101 actions in the UCF101 action video dataset. We show that by utilizing web action images along with videos in training, significant performance boosts of CNN models can be achieved. We then investigate the scalability of the process by leveraging crawled web images (unfiltered) for UCF101 and ActivityNet. We replace 16.2M video frames by 393K unfiltered images and get comparable performance.

研究の動機と目的

• Webでキャプチャされた行動画像が、CNNベースの動画行動認識性能を向上させることを調査すること。
• 大規模な動画データセットを収集するための人的・計算的コストを削減すること。
• フィルタリングされていないクロール済みWeb画像を動画フレームの代替として用いるスケーラビリティと有効性を調査すること。
• Web画像が動画データと補完的情報を提供するかどうかを評価し、モデルの一般化性能を向上させること。
• UCF101およびActivityNetと1対1に対応する、公開研究用に利用可能な最大規模の行動画像データセットを構築・公開すること。

提案手法

• 著者らは、101種類のUCF101行動クラスを表す23.8K枚の手作業でフィルタリングされたWeb画像を収集し、高品質で識別性の高いポーズを確保した。
• 空間的CNN（例：VGG16、VGG19）を、動画フレームとWeb行動画像の両方を用いて学習させ、特徴の学習を向上させた。
• スケーラビリティを確保するため、UCF101およびActivityNet用に393K枚のフィルタリングされていないWeb画像をクロールし、学習用の動画フレームの一部に置き換えた。
• フィルタリング済みとフィルタリングされていない画像の性能を比較し、モデルの深さやデータ比に応じた精度向上を評価した。
• UCF101およびActivityNetで標準的な評価プロトコル（mAPおよびトップ-1精度）を用い、光流特徴を含む・含まない状況でも評価した。
• アブレーションスタディを実施し、Web画像の貢献度をモデルの深さや運動特徴から分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 Webでキャプチャされた行動画像は、動画行動認識に特化したCNNの性能を顕著に向上させることができるか？
• RQ2 大規模な動画データセットへの依存を減らすことで、精度を損なわずに性能を維持できるか？
• RQ3 フィルタリング済みとフィルタリングされていないWeb画像の性能とスケーラビリティは、どのように比較できるか？
• RQ4 Web画像の数が増加するに従って、性能向上の限界はどこまで達成されるか？
• RQ5 特に光流特徴と組み合わせた場合、Web画像は動画データと補完的情報を提供することができるか？

主な発見

• 動画と23.8K枚のフィルタリング済みWeb画像を用いて空間的CNNを学習した場合、UCF101で83.5%の精度を達成し、動画のみの学習に比べ10.5%の絶対的向上を示した。
• 運動特徴（IDT-FV）を組み合わせたモデルは、UCF101で91.1%の精度に達し、これまで報告された中で最高の結果となった。
• ActivityNetの16.2Mフレームの半分を393K枚のフィルタリングされていないWeb画像に置き換えても、性能は同等（mAP 46.3% vs. 47.7%）を達成した。
• Web画像の数が増加するに従って、性能向上の効果は減少し、ある閾値を超えると飽和することが示唆された。
• 本手法は、さまざまなCNNアーキテクチャに対して頑健であり、ActivityNetのような非常に大きな動画データセットに対しても有効であった。
• Web画像の使用は、CNNに9層以上を追加するか、複雑な運動モデリングを組み込むのと同等の性能向上を達成したが、推論コストは増加しなかった。