[論文レビュー] An Active Learning Based Approach For Effective Video Annotation And Retrieval

Moitreya Chatterjee, Anton Leuski|arXiv (Cornell University)|Apr 27, 2015

Video Analysis and Summarization参考文献 19被引用数 3

ひとこと要約

本稿では、動画アノテーションおよびリtrievalのためのクラスタリングベースのサンプル選択戦略に、不確実性、密度、多様性の測度を統合したアクティブラーニングフレームワーク、CRMActiveを提案する。これらの測度をNormCRM生成モデルと組み合わせることで、TRECVIDおよびSmartBodyデータセットの両方でランダムおよび最先端のベースラインを上回る優れた性能を達成し、最小限のラベリング作業で高速な収束と一貫した向上を示した。

ABSTRACT

Conventional multimedia annotation/retrieval systems such as Normalized Continuous Relevance Model (NormCRM) [16] require a fully labeled training data for a good performance. Active Learning, by determining an order for labeling the training data, allows for a good performance even before the training data is fully annotated. In this work we propose an active learning algorithm, which combines a novel measure of sample uncertainty with a novel clustering-based approach for determining sample density and diversity and integrate it with NormCRM. The clusters are also iteratively refined to ensure both feature and label-level agreement among samples. We show that our approach outperforms multiple baselines both on a recent, open character animation dataset and on the popular TRECVID corpus at both the tasks of annotation and text-based retrieval of videos.

研究の動機と目的

• マルチメディアシステムにおける高コストな人間によるアノテーションを軽減し、完全にラベル付けされた訓練データの必要を減らすことを目的とする。
• アクティブラーニングの文脈で、ラベル付けに最も情報量の多いサンプルを選択することで、動画アノテーションおよびリtrievalの性能を向上させることを目的とする。
• 不確実性、密度、多様性の測度を統合した一貫性のあるサンプル選択戦略を構築し、モデル学習の効率を高めることを目的とする。
• TRECVIDおよびキャラクターアニメーションデータセットを含む実世界の動画データセット上で、提案手法の有効性を評価することを目的とする。
• 特徴量とラベルの共同モデリング（NormCRMを用いて）とアクティブラーニングを組み合わせることで、独立した分類器の訓練よりも優れた性能が得られることを示すこと

提案手法

• 上位k番目と(k+1)番目に関連性の高いラベル確率の差に基づく、未ラベル付きサンプルのための新しい不確実性測度を提案：$\text{unct}(\mathbf{x}) = \frac{1}{P(w_1|\mathbf{x}) - P(w_{k+1}|\mathbf{x})}$。
• クラスターリファインメント手法を導入し、サンプルの密度と多様性を推定することで、選択されたサンプルが代表的かつ特徴的であることを保証する。
• 反復的なクラスタリングを用いて、サンプル間の特徴量とラベルの整合性を高め、アクティブラーニング中のモデルの頑健性を向上させる。
• サンプル選択エンジンを、特徴量とラベルを共同でモデリングする生成モデルであるNormCRMと統合し、アノテーションおよびリtrievalの性能を向上させる。
• バッチ形式のアクティブラーニング戦略を採用し、各イテレーションで情報量が最も高い上位K個のサンプルを、統合された情報量スコアに基づいて選択する。
• 各バッチでラベル付きデータから密度重みパラメータ$\gamma_d$を再推定し、不確実性、密度、多様性の各成分に等しい重み（$\lambda_i = \frac{1}{3}$）を適用する。

実験結果

リサーチクエスチョン

• RQ1 不確実性、密度、多様性を統合した新しいアクティブラーニング戦略が、最小限のラベリングで動画アノテーションおよびリtrievalの性能を向上させられるか？
• RQ2 提案されたCRMActiveフレームワークは、ランダムラベリングおよび最先端のアクティブラーニングベースラインと比較して、アノテーションおよびリtrievalの精度でどのように差をつけるか？
• RQ3 NormCRMによる特徴量とラベルの共同モデリングは、個別に分類器を訓練するのと比較して、どの程度性能を向上させるか？
• RQ4 クラスタの反復的リファインメントは、ラベルと特徴量の一貫性を向上させ、アクティブラーニング中のモデル更新をより頑健にするか？
• RQ5 CRMActiveは、完全なアノテーションが終了する前でも、特にラベリングの初期ラウンドにおいても高い性能を達成できるか？

主な発見

• CRMActiveは、TRECVID 2007およびSmartBodyデータセットの両方で、ランダムベースラインおよびZhaらの最先端手法を上回るアノテーション性能を示した。
• CRMActiveを用いたアノテーションのAPスコアは、ラウンドを経るごとに単調非減少の傾向を示し、各ラベリングバッチで安定的かつ一貫した改善が見られた。
• SmartBodyデータセットでは、ラベル付けが完全に終了する前である第7ラウンドまでに、サンプルの正しい上位6つのラベルを達成しており、モデルの収束が著しく速いことが示された。
• SmartBodyの個々の概念について、CRMActiveは、正例数が少ない概念を含め、すべての概念で他のすべてのモデルを上回るか、同等の性能を維持した。
• NormCRMに基づくモデル（CRMActiveおよびランダムベースラインを含む）は、各概念ごとに独立した分類器を訓練するZhaらの手法を著しく上回った。これは、ラベル相関をより適切にモデル化できたためである。
• 特に「Dance」のような複雑な概念では、性能向上が顕著であり、分離された分類器とは異なり、特徴量とラベルの共同モデリングがより豊かな意味的パターンを捉えられることを示唆している。