[論文レビュー] Learning to Learn from Noisy Web Videos

Serena Yeung, Vignesh Ramanathan+4 more|arXiv (Cornell University)|Jun 9, 2017

Human Pose and Action Recognition参考文献 27被引用数 8

ひとこと要約

本稿では、分類器スコア分布を状態表現として用いる強化学習フレームワークを提案する。このフレームワークは、ノイズの多いWeb動画のデータラベル付けポリシーを学習し、多様性と意味的ドリフトのバランスを取る。Sports-1Mベンチマークにおいて、greedyおよびヒューリスティックベースラインを2.2% mAP上回り、手動でチューニングされたルールを必要とせず、アクションの文脈やサブカテゴリの変動といったドメイン固有の知識を学習する。

ABSTRACT

Understanding the simultaneously very diverse and intricately fine-grained set of possible human actions is a critical open problem in computer vision. Manually labeling training videos is feasible for some action classes but doesn't scale to the full long-tailed distribution of actions. A promising way to address this is to leverage noisy data from web queries to learn new actions, using semi-supervised or "webly-supervised" approaches. However, these methods typically do not learn domain-specific knowledge, or rely on iterative hand-tuned data labeling policies. In this work, we instead propose a reinforcement learning-based formulation for selecting the right examples for training a classifier from noisy web search results. Our method uses Q-learning to learn a data labeling policy on a small labeled training dataset, and then uses this to automatically label noisy web data for new visual concepts. Experiments on the challenging Sports-1M action recognition benchmark as well as on additional fine-grained and newly emerging action classes demonstrate that our method is able to learn good labeling policies for noisy data and use this to learn accurate visual concept classifiers.

研究の動機と目的

• 手動でのアノテーションが非現実的となる長尾、細分化、またはレアなアクションクラスにスケーリング可能なアクション認識を実現すること。
• 手動でチューニングされたデータラベル付けポリシーに依存し、ドメイン固有の知識を学習できない既存のウェブリーストアド監視手法の限界を克服すること。
• ノイズの多いWeb検索結果から、データ選択ポリシーと視覚的分類器を統合的に学習する統一フレームワークの構築。
• 最小限のラベル付きデータとノイズの多いWebクエリを用いて、新しい視覚的概念を堅牢かつスケーラブルに学習可能にする。

提案手法

• 本手法はQ学習を用い、分類器スコア分布に基づいてWeb検索結果からポジティブ例を選択するポリシーを学習する。
• 分類器とQ学習エージェントの両方を交互に更新する共同学習設定を採用し、報酬は保留された検証セットにおける下流分類器の精度に基づいて形状化される。
• 状態表現は、候補動画群における分類器スコアの分布によって定義され、エージェントが不確実性と多様性を評価できるようにする。
• ポリシーはまず手動でラベル付けされた少数のクラスで訓練され、その後テスト時に新しい未観測クラスに転移される。
• データ収集とモデル学習を1つのエンドツーエンドプロセスに統合し、分離された反復的改善を回避する。
• スコア分布に基づく新規な状態表現により、エージェントは意味的ドリフトを検出し、多様で高品質なポジティブ例を促進できる。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、ノイズの多いWeb動画データにおいて、例の多様性と意味的ドリフトのバランスを効果的に取るデータラベル付けポリシーを学習できるか？
• RQ2 このようなポリシーは、手動での再チューニングを必要とせず、新しい未観測のアクションクラスに一般化できるか？
• RQ3 人間の運動の特徴と外見の特徴を区別するといったドメイン固有の知識を学習することは、長尾アクションにおける分類器性能を向上させるか？
• RQ4 低データ環境下で、ヒューリスティックまたはgreedyベースラインと比較して、本手法の精度と頑健性はどのように異なるか？

主な発見

• 提案手法は、Sports-1Mベンチマークにおいて100個のポジティブ例の予算で、greedyおよびヒューリスティックベースラインを2.2% mAP上回る。
• 'Selfieをとる'クラスでは、クエリリコール（9/16 vs. 6/16）と動画リコール（90% vs. 75%）の両方が向上し、より良い多様性とノイズ回避が示された。
• 'オリンピック体操'では、18個の真のポジティブクエリのうち10個を選択（greedyでは7個）し、アクリプティクスやハンドルルーチンなどのサブカテゴリをよりよくカバーした。
• ポリシーは意味的ドリフトを効果的に回避した。例えば、'ボブスレー'に対してビデオゲームのクリップを誤って選択するのを防ぎ、greedyベースラインが問題を起こしたような類似したセルフィーも避ける。
• MNISTでは、制御された環境下で本手法の有効性を示し、動画へのスケーリングの前段階として、基本的なRL定式化が妥当であることを検証した。
• 明示的なルール設計なしに、動物関連のアクションでは運動の特徴を優先するといったドメイン固有の知識をモデルが学習した。