[論文レビュー] Exploiting Multi-modal Curriculum in Noisy Web Data for Large-scale Concept Learning

Junwei Liang, Lu Jiang+2 more|arXiv (Cornell University)|Jul 16, 2016

Text and Document Classification Technologies参考文献 6被引用数 4

ひとこと要約

本稿では、手動アノテーションなしで概念検出器を訓練するため、タイトル、音声、視覚特徴を用いてノイズの多いWeb動画データを活用する、多モodalなカリキュラム学習フレームワークであるWEbly-Labeled Learning（WELL）を提案する。WELLは段階的により簡単で信頼性の高いサンプルから選択し、徐々にノイズの多い例を統合することで、大規模な動画データセットにおいて最先端の性能を達成し、清澄なデータで訓練された教師ありモデルと同等の精度を実現する。

ABSTRACT

Learning video concept detectors automatically from the big but noisy web data with no additional manual annotations is a novel but challenging area in the multimedia and the machine learning community. A considerable amount of videos on the web are associated with rich but noisy contextual information, such as the title, which provides weak annotations or labels about the video content. To leverage the big noisy web labels, this paper proposes a novel method called WEbly-Labeled Learning (WELL), which is established on the state-of-the-art machine learning algorithm inspired by the learning process of human. WELL introduces a number of novel multi-modal approaches to incorporate meaningful prior knowledge called curriculum from the noisy web videos. To investigate this problem, we empirically study the curriculum constructed from the multi-modal features of the videos collected from YouTube and Flickr. The efficacy and the scalability of WELL have been extensively demonstrated on two public benchmarks, including the largest multimedia dataset and the largest manually-labeled video set. The comprehensive experimental results demonstrate that WELL outperforms state-of-the-art studies by a statically significant margin on learning concepts from noisy web video data. In addition, the results also verify that WELL is robust to the level of noisiness in the video data. Notably, WELL trained on sufficient noisy web labels is able to achieve a comparable accuracy to supervised learning methods trained on the clean manually-labeled data.

研究の動機と目的

• 高価な手動アノテーションを伴わない大規模な動画概念学習の課題に対処すること。
• YouTube や Flickr からの豊富だがノイズの多いWebメタデータ（タイトル、説明、音声、画像）を活用して弱教師あり学習を行うこと。
• 人間の学習を模倣し、簡単な例から難しい例へと段階的に進む、スケーラブルで頑健なフレームワークを開発すること。
• 清澄な手動ラベル付きデータで訓練されたモデルと同等またはそれを上回る性能を達成できる、多モダリティの事前知識を用いたWebly- supervised 学習が可能かどうかを実証すること。

提案手法

• WELLはカリキュラム学習と自己-paced学習の原則に基づき、段階的に複雑さが増すサンプルから学習する。
• Web動画から視覚的、言語的、音声的特徴を抽出し、事前知識のカリキュラムを構築する。
• フレームワークは、複数モダリティの信頼性スコアに基づいて動的に訓練サンプルを選択し、初期段階では高信頼性・低ノイズのサンプルを優先する。
• モデルの精度とサンプル選択のバランスを取る損失関数を用い、各イテレーションで追加するサンプルの難易度を制御するハイパーパrameter λ を導入する。
• カリキュラムは、複数モダリティ間の一貫性（例：画像分類、音声認識、タイトルがすべて「犬」を示唆する）に基づいて構築される。
• 訓練は反復的に進行し、λ が時間経過とともに増加することで、より曖昧またはノイズの多いサンプルを段階的に含める。誤検出の影響を減らすために、早期停止を実装する。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションなしで、多モダリティのWebメタデータを効果的に活用して正確な動画概念検出器を訓練できるか？
• RQ2 多モダリティの信頼性に基づくカリキュラム学習戦略が、ノイズの多いWebデータにおいて性能向上をもたらすか？
• RQ3 多モダリティの事前知識を用いたWebly- supervised 学習が、清澄な手動ラベル付きデータで訓練されたモデルと同等の性能を達成できるか？
• RQ4 本手法は、Web動画ラベルのノイズレベルの変動に対してどれほど頑健か？

主な発見

• TRECVID MED データセットでは、2000時間のWeblyラベル付きデータを用いて、mAP 0.697 を達成し、先行手法を顕著に上回った。
• FCVID データセットでは、2000時間のデータで mAP 0.650 を達成し、Weblyラベル付きデータのみを用いた最良のベースライン（rDNN-F 0.754）を上回った。
• YFCC100M では、P@3 0.667、P@5 0.663、P@10 0.649 を達成し、GoogleHNM や BabyLearning を含むすべてのベースラインを上回った。
• ノイズに対する頑健性が確認された：データ量が増えるにつれて性能が向上し、ノイズの高いサンプルの含め方を遅らせる手法により誤検出を効果的に抑制した。
• 反復的なカリキュラム機構を備えながらも、WELLの実行時間はベースラインと同等（FCVID で239概念、7時間）であった。
• 定性的な分析から、WELLは意味的に整合性があり、段階的に難易度が高くなるサンプルを選択していることが確認された。例として、明確な遊び場のシーンから、歌いながらの誕生日会やハイキングを含む複雑なイベントへと進化する。