[論文レビュー] Unsupervised Learning of Video Representations via Dense Trajectory Clustering

Pavel Tokmakov, Martial Hebert+1 more|arXiv (Cornell University)|Jun 28, 2020

Human Pose and Action Recognition参考文献 45被引用数 16

ひとこと要約

本論文は、クラスタリングベースの学習フレームワークにおいて、自己教師あり事前学習としてのImproved Dense Trajectories (IDT)を用いることで、新たな非教師あり動画表現学習手法を提案する。IDT特徴空間で動画をクラスタリングし、非パrametric分類損失を用いて3D ConvNetを共同で微調整することで、動きに敏感な表現を学習する。この手法はUCF101とHMDB51で先行する自己教師あり手法を上回り、64フレーム入力でUCF101で83.0%、HMDB51で90.7%の精度を達成する。

ABSTRACT

This paper addresses the task of unsupervised learning of representations for action recognition in videos. Previous works proposed to utilize future prediction, or other domain-specific objectives to train a network, but achieved only limited success. In contrast, in the relevant field of image representation learning, simpler, discrimination-based methods have recently bridged the gap to fully-supervised performance. We first propose to adapt two top performing objectives in this class - instance recognition and local aggregation, to the video domain. In particular, the latter approach iterates between clustering the videos in the feature space of a network and updating it to respect the cluster with a non-parametric classification loss. We observe promising performance, but qualitative analysis shows that the learned representations fail to capture motion patterns, grouping the videos based on appearance. To mitigate this issue, we turn to the heuristic-based IDT descriptors, that were manually designed to encode motion patterns in videos. We form the clusters in the IDT space, using these descriptors as a an unsupervised prior in the iterative local aggregation algorithm. Our experiments demonstrates that this approach outperform prior work on UCF101 and HMDB51 action recognition benchmarks. We also qualitatively analyze the learned representations and show that they successfully capture video dynamics.

研究の動機と目的

• 3D ConvNetsにおける外見特徴の優位性により、動きのパターンを捉えられていない既存の自己教師あり動画表現学習手法の限界を解消すること。
• 画像レベルの自己教師あり目的（インスタンス認識と局所的集約）が動画ドメインに適応可能かどうかを検討すること。
• クラスタリングベースの学習プロセスにヒューリスティックベースのIDT記述子を自己教師あり事前知識として組み込み、動きのモデリングを改善すること。
• 提案手法の有効性を、標準的な行動認識ベンチマーク（UCF101およびHMDB51）において、完全微調整および少数ショットの設定で評価すること。
• 学習された表現が外見以外の動画ダイナミクスをどの程度捉えているかを定性的および定量的に分析すること。

提案手法

• 各動画を固有のクラスとみなして、交差エントロピー損失を用いて3D ConvNetを学習することで、画像表現学習から分類ベースの自己教師あり目的を動画に適応する。
• K-meansを繰り返し用いて動画特徴をクラスタリングすることで、局所的集約アプローチを動画に拡張し、非パrametric分類損失を用いてネットワークを更新する。
• 初期の動画クラスタを定義するために、動きに敏感な特徴空間としてImproved Dense Trajectories (IDT)を用い、時間的構造に対する自己教師あり事前知識を提供する。
• まず固定されたIDTクラスタ上で3D ConvNetを学習し、その後、反復的局所的集約フレームワークを用いてIDT空間と深層特徴空間の両方で共同で微調整する。
• ラベルなしでKineticsでモデルを事前学習し、その後UCF101およびHMDB51で行動認識評価のため微調整する。
• 比較のための強力なベースラインとして、IDT記述子のFisherベクトル符号化を用いる。

実験結果

リサーチクエスチョン

• RQ1 画像表現学習から得られる分類ベースの自己教師あり目的が、動画表現学習に効果的に適応可能か？
• RQ2 動画学習における標準的なクラスタリングベースの目的はなぜ動きのパターンを捉えられておらず、画像レベルの手法と比較して性能差が生じるのか？
• RQ3 IDTのようなヒューリスティックベースの動画記述子が、3D ConvNetの学習をガイドし、動きモデリングを改善するための効果的な自己教師あり事前知識として機能可能か？
• RQ4 IDTベースのクラスタリングとエンドツーエンドの3D ConvNet学習を組み合わせることで、先行する自己教師あり手法を上回る行動認識性能が得られるか？
• RQ5 学習されたクラスタが外見やシーンの手がかりではなく、動画ダイナミクスをどの程度反映しているか？

主な発見

• 64フレーム入力でUCF101で83.0%、HMDB51で90.7%の精度を達成し、同じ3D ResNet18アーキテクチャを用いたすべての先行自己教師あり手法を上回った。
• HMDB51では、より深いネットワークを用いたSOTAのCBT手法を、完全教師あり性能の割合で15.0ポイント上回ったが、これはCBTがより深いネットワークを用いているにもかかわらず顕著な向上を示している。
• 16フレームバージョンの手法は、UCF101でCBTを4.4ポイント、HMDB51で15.0ポイント上回る正規化性能を示し、優れた一般化性能を示した。
• DPCでさえ、より深い3D ResNet34と120フレームの長さを用いても、本手法に劣る性能を示した。これは、IDT事前知識が動きモデリングにおいて非常に有効であることを示している。
• 定性的な分析から、学習されたクラスタが外見ではなく動きのダイナミクスに基づいて動画をグループ化していることが確認され、同じ行動が異なるシーン間で一貫してグループ化されている。
• 64フレームモデルは、完全長さのIDT記述子（UCF101で85.9%）の性能から2.9%以内にまで近づいており、IDT事前知識を用いたエンドツーエンド学習が、ハンドクラフト記述子の性能に近づける可能性を示している。