[論文レビュー] Multimodal Co-Training for Selecting Good Examples from Webly Labeled Video

Ryota Hinami, Junwei Liang+2 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 11被引用数 5

ひとこと要約

本稿では、複数のモodal（動画、音声、テキストなど）の分類器を同時に学習し、一致する予測結果（consensus voting）を用いることで、ノイズが多く含まれるウェブラベル付き動画から高品質な学習例を選択する、シンプルだが効果的な手法であるMultimodal Co-Training（MMCo）を提案する。MMCoは、例の選択および分類性能を顕著に向上させ、FCVIDでは0.70の精度と0.80の再現率を達成し、単一モダリティやベースラインのコ・トレーニング手法を上回る。これは、異なるモダリティ間の補完的情報を活用して、難易度の高いが正しく正しい例を特定できることに起因する。

ABSTRACT

We tackle the problem of learning concept classifiers from videos on the web without using manually labeled data. Although metadata attached to videos (e.g., video titles, descriptions) can be of help collecting training data for the target concept, the collected data is often very noisy. The main challenge is therefore how to select good examples from noisy training data. Previous approaches firstly learn easy examples that are unlikely to be noise and then gradually learn more complex examples. However, hard examples that are much different from easy ones are never learned. In this paper, we propose an approach called multimodal co-training (MMCo) for selecting good examples from noisy training data. MMCo jointly learns classifiers for multiple modalities that complement each other to select good examples. Since MMCo selects examples by consensus of multimodal classifiers, a hard example for one modality can still be used as a training example by exploiting the power of the other modalities. The algorithm is very simple and easily implemented but yields consistent and significant boosts in example selection and classification performance on the FCVID and YouTube8M benchmarks.

研究の動機と目的

• 手動アノテーションなしで、非常にノイズの多いウェブソースの動画データから信頼できる正例を選択する課題に対処すること。
• 従来の自己学習手法が容易で確信のあるサンプルに依存するため、難易度の高い例を学習できないという限界を克服すること。
• 複数モダリティ（視覚的、音声的、テキスト的メタデータなど）間の補完的情報を活用することで、ウェブリー監視付き動画分類の性能を向上させること。
• バッチ処理を必要とせず、YouTube8Mのような大規模な動画データセットを効率的に処理できるスケーラブルでオンライン学習可能なアルゴリズムを設計すること。
• マルチモーダルな一致が、弱教師付き動画学習における一般化性能とノイズ耐性を向上させられることを示すこと。

提案手法

• MMCoは、共有損失関数を用いて、RGB、動き、音声、メタデータなどのモダリティ固有の分類器を同時に学習する。
• 例の選択は一致に基づく：複数のモダリティで予測スコアが閾値を超える例が選択される。
• 投票メカニズム（例：モダリティスコアの最大値または平均値）を用いて信頼できる正例を特定し、あるモダリティで難易度の高い例でも他のモダリティが支持していれば受け入れられる。
• ウェブリー監視付き学習（Webly Labeled Learning）のオンライン版（online WELL）を導入し、ミニバッチ単位でサンプル重みとモデルパラメータを更新することで、数百万本の動画にスケーリング可能となる。
• 確率的勾配降下法を用いたエンドツーエンドの学習が可能で、大規模データセットへの効率的な適応が可能である。
• アーキテクチャはモジュール型かつ拡張可能で、モダリティの柔軟な組み合わせや、既存の動画分類パイプラインへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 単一モダリティや単一モダリティの自己学習と比較して、マルチモーダルな一致は、ノイズの多いウェブソースの動画データから高品質な学習例を選択する上で効果を発揮するか？
• RQ2 テキストメタデータ、音声、視覚特徴などの補完的モダリティの組み合わせが、弱教師付き動画分類の耐障害性と精度に与える影響は何か？
• RQ3 シンプルな一致ベースのコ・トレーニング戦略は、従来の自己学習手法が見逃すような難易度の高い例を効果的に学習できるか？
• RQ4 訓練データのラベルノイズレベルが変化する条件下でも、本手法の性能は安定しているか？
• RQ5 オンライン WELL 拡張版は、YouTube8Mのような大規模な動画データセットにスケーリングする際、性能を維持できるか？

主な発見

• MMCoは、FCVIDベンチマークにおいて、例の選択性能を0.66の精度・0.64の再現率から、0.70の精度・0.80の再現率へ向上させた。
• 動画コンテンツ（P3D特徴）とメタデータモダリティの組み合わせが最良の性能を示し、単一モダリティベースラインを大きく上回った。
• 動画とメタデータモダリティの併用（例：Concat + Metadata）は、より複雑なマルチモーダル組み合わせと同等の性能を達成し、コストと精度の良いトレードオフを実現した。
• 本手法は強いノイズ耐性を示し、高ノイズレベル（0.9、90％の偽陽性）でもmAPが0.63を維持した。
• YouTube8Mデータセットでは、MMCoはマルチモーダル統合を用いてテストmAP 0.770を達成し、単一モダリティおよび部分的マルチモーダルベースラインを上回った。
• 定性的な結果では、MMCoがメタデータを活用して誤検出（類似するが誤りの動画）を効果的に除外した一方で、ベースライン手法は頻繁に誤分類していた。