[論文レビュー] Transfer Learning for Video Recognition with Scarce Training Data.

Yu-Chuan Su, Tzu-Hsuan Chiu+3 more|arXiv (Cornell University)|Sep 15, 2014

Human Pose and Action Recognition参考文献 25被引用数 4

ひとこと要約

本論文は、弱いラベルが付与された画像データセットから動画認識へトランスファー学習を提案し、たった4,000本のアノテート済み動画でのみ、頑健なフレームベースの動画分類を可能にした。事前学習済みの画像特徴を活用することで、過学習を軽減し、大規模な動画アノテーションを必要とせず高い精度を達成でき、深層学習における動画認識のデータ要件を顕著に低減した。

ABSTRACT

Abstract—Unconstrained video recognition and Deep Convo-lution Network (DCN) are two active topics in computer vision recently. In this work, we apply DCNs as frame-based recognizers for video recognition. Our preliminary studies, however, show that video corpora with complete ground truth are usually not large and diverse enough to learn a robust model. The networks trained directly on the video data set suffer from significant overfitting and have poor recognition rate on the test set. The same lack-of-training-sample problem limits the usage of deep models on a wide range of computer vision problems where obtaining training data are difficult. To overcome the problem, we perform transfer learning from images to videos to utilize the knowledge in the weakly labeled image corpus for video recognition. The image corpus help to learn important visual patterns for natural images, while these patterns are ignored by models trained only on the video corpus. Therefore, the resultant networks have better generalizability and better recognition rate. We show that by means of transfer learning from image to video, we can learn a frame-based recognizer with only 4k videos. Because the image corpus is weakly labeled, the entire learning process requires only 4k annotated instances, which is far less than the million scale image data sets required by previous works. The same approach may be applied to other visual recognition tasks where only scarce training data is available, and it improves the applicability of DCNs in various computer vision problems. Our experiments also reveal the correlation between meta-parameters and the performance of DCNs, given the properties of the target problem and data. These results lead to a heuristic for meta-parameter selection for future researches, which does not rely on the time consuming meta-parameter search.

研究の動機と目的

• 深層動画認識モデルにおける過学習を引き起こす、限られたかつ多様性に欠ける動画データセットの課題に対処すること。
• 大規模で弱いラベルが付与された画像データセットからの知識の転送により、動画認識におけるデータ不足問題を克服すること。
• 最小限の動画アノテーションを用いて、モデルの一般化能力とテスト性能を向上させるトランスファー学習フレームワークを開発すること。
• 大規模な動画アノテーションの収集が現実的でない動画認識タスクにおいて、深層畳み込みネットワーク（DCN）の応用を可能にすること。
• 時間のかかるハイパーパramータチューニングに依存しない、メタパramータ選択のヒューリスティックを提供すること。

提案手法

• 大規模な画像データセット（例：ImageNet）で事前学習された深層畳み込みネットワーク（DCN）を、動画フレーム分類用に微調整すること。
• 事前学習済みの画像特徴を、自然画像からの一般的な視覚的パターンを捉える強力な初期化として使用すること。
• 追加のデータオーグメンテーションや強い監督なしに、わずか4,000本のアノテート済み動画の小規模な動画データセット上で、ネットワークをエンドツーエンドで訓練すること。
• 画像コーパスの弱いラベル付けの性質を活用し、大規模な動画アノテーションの必要性を回避すること。
• 画像から動画への視覚的知識のトランスファーを適用し、低データ環境における特徴表現の向上を図ること。
• 実験的分析を用いて、データおよび問題の特性に基づいたメタパramータ選択のヒューリスティックを導出し、網羅的探索を回避すること。

実験結果

リサーチクエスチョン

• RQ1 わずか数個の動画サンプルしか利用できない状況で、画像データセットからのトランスファー学習が動画認識性能を顕著に向上させられるか？
• RQ2 弱いラベルが付与された画像データで事前学習することで、同じ小規模な動画データセットで訓練する場合と比較して、DCNの一般化性能がどのように向上するか？
• RQ3 異なるメタパramータ（例：学習率、重み減衰）が、低データ環境下のDCN性能に与える影響は何か？
• RQ4 計算コストの高いハイパーパramータ探索に依存せずに、実験結果からメタパramータ選択のヒューリスティックを導出できるか？
• RQ5 動画データが限られ、多様性に欠ける状況下で、画像から学習された視覚的パターンが、動画データの認識精度にどの程度向上効果をもたらすか？

主な発見

• 画像データセットからのトランスファー学習により、たった4,000本のアノテート済み動画でのみ、頑健なフレームベースの動画認識器を訓練可能となり、データ要件が顕著に削減された。
• 学習済みの視覚的パターンの転送のおかげで、同じ小規模な動画データセットで訓練する場合と比較して、より優れた一般化性能と高いテスト精度を達成した。
• 弱いラベルが付与された画像データの使用により、大規模で完全にアノテートされた動画データセットの必要性が排除され、低リソースドメインへのスケーラビリティが確保された。
• 数百万本のアノテート済み画像を必要とする先行手法よりも、本手法は低データ環境下での効率性と有効性を示した。
• 実験結果から得られたヒューリスティックにより、将来的な動画認識タスクにおける時間のかかるハイパーパramータチューニングの必要性が削減された。
• 本研究では、メタパramータとモデル性能との間に強い相関関係が明らかになったことから、同様の低データ問題に対するデータ駆動型の設定戦略が可能になった。