[論文レビュー] Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning Approach

Hyolim Kang, Jinwoo Kim+3 more|arXiv (Cornell University)|Jun 22, 2021

Human Pose and Action Recognition参考文献 22被引用数 5

ひとこと要約

本論文は、イベント境界における視覚的コンテンツの変化を捉えるために中間表現として時系列自己類似行列（TSM）を用いた、対照的学習に基づく汎用イベント境界検出（GEBD）手法を提案する。TSMパスと対照的損失、および直接予測パスを組み合わせることで、CVPR'2021 Kinetics-GEBD コンテストで最先端の性能を達成し、F1スコア81.3を記録した。

ABSTRACT

Generic Event Boundary Detection (GEBD) is a newly introduced task that aims to detect "general" event boundaries that correspond to natural human perception. In this paper, we introduce a novel contrastive learning based approach to deal with the GEBD. Our intuition is that the feature similarity of the video snippet would significantly vary near the event boundaries, while remaining relatively the same in the remaining part of the video. In our model, Temporal Self-similarity Matrix (TSM) is utilized as an intermediate representation which takes on a role as an information bottleneck. With our model, we achieved significant performance boost compared to the given baselines. Our code is available at https://github.com/hello-jinwoo/LOVEU-CVPR2021.

研究の動機と目的

• 長時間の動画におけるカテゴリに依存しないイベント境界を、主観的でカテゴリ固有のアノテーションを欠いた人間の知覚に基づいて検出する課題に対処すること。
• 標準的なBCE損失が深層Transformerベースのエンコーダーに対して十分な勾配を提供しないGEBDにおけるトレーニング信号の質を向上させること。
• 時系列自己類似行列（TSM）を情報ボトルネックとして用いることで、イベント境界検出のための特徴表現を強化すること。
• TSMベースのパスと直接予測パスを凸結合により統合することで、より高いロバスト性と性能を達成すること。
• 外部データやアノテーションを一切使用せずに、Kinetics-GEBDベンチマークで最先端の結果を達成すること。

提案手法

• モデルは二重パスアーキテクチャを採用：一方のパスはTSMベースのデコーダーを経由して特徴を処理し、もう一方はエンコーディングされた特徴から直接境界を予測する。
• TSM表現に、境界周辺の局所的類似パターンをポジティブペア、境界でない領域をネガティブペアとして用いる対照的学習損失を適用する。
• シアン型プロキシヘッド（Simsiam）を用いたシアン型アーキテクチャに基づくペairwise類似度の計算に、境界関連領域を特定するための三値マスクを適用して、対照的損失を計算する。
• エンコーダーは、異なる受容fieldを持つ並列モジュールを備えている：1次元畳み込みで局所的特徴を処理し、Transformerで長距離依存関係を捉える。それぞれがアクション、ショット、または両方の境界に特化している。
• 最終的な予測は、二つのパスの凸結合であり、結合重みはBCE損失を用いてエンドツーエンドで学習される。
• 後処理には、K=1または2のピーク推定と、信頼度が低い予測を抑制するためのしきい値処理が含まれており、一般化性能を向上させるために5つのデータ分割にわたるモデルアンサンブルが実施される。

実験結果

リサーチクエスチョン

• RQ1 時系列自己類似行列（TSM）は、トリムム動画における汎用イベント境界検出のための中間表現として効果的に機能するか？
• RQ2 標準的なBCE損失が十分な監視信号を提供できない場合に、対照的学習はGEBDにおける深層エンコーダーの勾配信号を改善するか？
• RQ3 TSMベースのパスと直接予測パスを組み合わせることで、単独のパスよりも優れた性能が得られるか？
• RQ4 データオーグメンテーション、モデルアンサンブル、および後処理は、Kinetics-GEBDベンチマークにおける最終的性能にどのように影響を与えるか？
• RQ5 提案手法は、異なる動画特徴抽出器やデータセット分割にわたって、どの程度一般化可能か？

主な発見

• TSMパスと直接パスを併用し、対照的学習を適用した完全なモデルは、Kinetics-GEBD検証セットでF1スコア81.3を達成し、ベースラインPCモデル（62.5 F1）を著しく上回った。
• TSMパスを削除するとF1スコアが3.3ポイント低下（81.3 → 78.0）し、TSMが境界関連パターンを捕捉する上で極めて重要な役割を果たしていることが示された。
• 対照的損失を除いたTSMパス（74.3 F1）は完全なモデルに劣っており、BCE損失のみで十分な勾配が得られないことが示された。
• 直接パス単体でも78.0 F1を達成しており、直接監視が有効であるが、対照的学習を組み合わせたTSMベースのアプローチに比べて、やや性能が劣ることがわかった。
• 5つの交差検証分割からの予測をアンサンブルし、二本のブランチからなるアンサンブルヘッドを用いることで、より高いロバスト性と一般化性能が向上した。
• ピーク検出としきい値処理による後処理により、誤検出が低減され、隣接する重複予測が排除され、より綺麗な最終出力が得られた。