[論文レビュー] Cross-Class Relevance Learning for Temporal Concept Localization

W. F. Mader, Satya Krishna Gorti+3 more|arXiv (Cornell University)|Nov 19, 2019

Human Pose and Action Recognition参考文献 41被引用数 4

ひとこと要約

本論文では、時空間的概念局所化を向上させるために、ビデオセグメントとターゲットクラス特徴を共同で符号化する新しいペairワイズモデルであるクロスクラス関連性学習（CCRL）を提案する。クラス固有の特徴を組み込み、クラス間で共有される関連性パターンを学習することで、CCRLは最先端の性能を達成し、mAP 0.8329を記録して第3回YouTube-8Mビデオ理解チャレンジで1位を獲得した。

ABSTRACT

We present a novel Cross-Class Relevance Learning approach for the task of temporal concept localization. Most localization architectures rely on feature extraction layers followed by a classification layer which outputs class probabilities for each segment. However, in many real-world applications classes can exhibit complex relationships that are difficult to model with this architecture. In contrast, we propose to incorporate target class and class-related features as input, and learn a pairwise binary model to predict general segment to class relevance. This facilitates learning of shared information between classes, and allows for arbitrary class-specific feature engineering. We apply this approach to the 3rd YouTube-8M Video Understanding Challenge together with other leading models, and achieve first place out of over 280 teams. In this paper we describe our approach and show some empirical results.

研究の動機と目的

• 大規模なビデオデータセットにおけるビデオコンセプト間の複雑で排他的でない関係をモデル化する課題に対処すること。
• クラスを独立して扱う標準の分類ヘッドの限界を克服し、クラスの不均衡や過学習に対処すること。
• 関連するクラス間で情報共有を促進しながら、効果的なクラス固有の特徴工学を可能にすること。
• 候補セグメントを削減しながら再現率を損なわずに、スケーラブルな推論を可能にする効率的なパイプラインを開発すること。
• YouTube-8Mの時空間的概念局所化ベンチマークで最先端の性能を達成すること。

提案手法

• セグメント特徴とターゲットクラス特徴を入力として受け取り、セグメント-クラス関連性を予測するペアワイズ二値分類モデルを提案する。
• ワンホットエンコーディング、階層的埋め込み、およびBag-of-Words記述から導出される類似度特徴を含む、クラス固有の特徴を統合する。
• 深層ネットワークが捉えにくい非滑らかで複雑なクラス関係をモデル化するため、勾配ブースティングツリー（XGBoost）を用いる。
• 二段階のパイプラインを実装する：まず、ビデオレベルのモデルが高再現率の候補セグメントを生成し、次にCCRLがこれらの候補セグメントのみをスコア化することで効率性を確保する。
• ビデオおよび音声のための事前学習済み特徴としてInceptionおよびVGGベースのモデルを活用し、NetVLADおよびNetFVを微調整して特徴符号化を向上させる。
• 複数のモデルのアンサンブル平均を適用することで性能をさらに向上させ、単純な平均化がより複雑な融合戦略を上回ることを確認した。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の特徴と共同でセグメント-クラス関連性をモデル化することで、多様でマルチラベルなビデオコンセプトにおける局所化性能が向上するか？
• RQ2 クロスクラス情報共有は、リソースが限られたクラスや意味的に類似したクラスにおいて、一般化性能の向上にどの程度効果的か？
• RQ3 候補セグメント生成パイプラインは、大規模なビデオ局所化において計算コストをどの程度削減できるか、同時に高い再現率を維持できるか？
• RQ4 微分不可能な木ベースのモデルをクラス特徴学習に組み込むことで、複雑なクラス関係を捉える際に、エンドツーエンドの深層学習を上回る性能が得られるか？
• RQ5 明示的なクラス入力を備えたペアワイズモデルは、マルチコンセプトでマルチラベルなビデオ局所化タスクにおいて、標準の分類ヘッドを上回る性能を示せるか？

主な発見

• CCRLはYouTube-8MテストセットでmAP 0.8329を達成し、280チームを超える参加者の中での1位を獲得した。
• 候補セグメント生成パイプラインにより、セグメント数を約220万から10万に削減したが、再現率は0.9969を維持し、ほぼすべての関連セグメントを保持した。
• アンサンブルモデルは候補セグメント生成後、mAPを最大20%向上させ、ビデオレベルの知識を局所化タスクに効果的に転送できることを示した。
• CCRLは、LSTMベースラインと比較して、車種や電子機器などの意味的に類似したクラス群においてより一貫した性能を示した。LSTMベースラインは特定のサブクラスで性能を発揮できなかった。
• 単体でも、最良のCCRLモデルはリーダーボードで5位を達成し、強力な単体での展開可能性を示した。
• 定性的な分析により、CCRLがLSTMが誤って分類した例（例：転倒するスケートボーダーを「スケートボード」に誤認）においても、正しい関連セグメントを正しく特定していることが確認された。