[論文レビュー] MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features

Adrien Bardes, Jean Ponce+1 more|arXiv (Cornell University)|Jul 24, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

MC-JEPAは、共有エンコーダーを用いて動き（オプティカルフロー）とコンテンツ特徴を同時に学ぶマルチタスク自己教師型学習フレームワークを提案する。PWC-Netに基づくフローエstimatorとVICRegを組み合わせ、対照的自己教師型学習を実現する。本手法はオプティカルフローベンチマークで最先端の性能を達成し、画像および動画セグメンテーションタスクにおいても優れた転移性能を示し、動きとコンテンツ特徴の学習が相互に補い合うことを実証した。

ABSTRACT

Self-supervised learning of visual representations has been focusing on learning content features, which do not capture object motion or location, and focus on identifying and differentiating objects in images and videos. On the other hand, optical flow estimation is a task that does not involve understanding the content of the images on which it is estimated. We unify the two approaches and introduce MC-JEPA, a joint-embedding predictive architecture and self-supervised learning approach to jointly learn optical flow and content features within a shared encoder, demonstrating that the two associated objectives; the optical flow estimation objective and the self-supervised learning objective; benefit from each other and thus learn content features that incorporate motion information. The proposed approach achieves performance on-par with existing unsupervised optical flow benchmarks, as well as with common self-supervised learning approaches on downstream tasks such as semantic segmentation of images and videos.

研究の動機と目的

• 動きやピクセルレベルのダイナミクスを捉えていない既存の自己教師型手法の限界を解消する。
• オプティカルフロー推定と自己教師型コンテンツ特徴の学習を1つの統合埋め込みアーキテクチャに統合し、特徴の汎化性能を向上させる。
• 動きにインフォームドなコンテンツ特徴を学習することで、セマンティックセグメンテーションなどの下流タスクへの転移学習を可能にする。
• マルチタスク設定における共有表現学習が、動きとコンテンツの学習目的が互いに利益をもたらすことを実証する。
• トレーニングスケジュール、損失重み、アーキテクチャ的要素が性能および特徴品質に与える影響を調査する。

提案手法

• PWC-Netに基づくM-JEPAを提案し、後退一貫性損失と分散・共分散正則化を改善策として導入する。
• VICReg（ImageNetで事前学習済みの対照的自己教師型学習手法）とM-JEPAを統合し、マルチタスク設定でフローとコンテンツ特徴を同時に最適化する。
• 共有エンコーダーを用いて、動き（フロー）と意味的コンテンツを同時に表現する統合埋め込みを生成し、動画および画像データ上でエンドツーエンド学習を可能にする。
• サイクル一貫性を含むフローエstimator損失とVICReg対照的損失を組み合わせたマルチタスク損失を用い、可学習係数によりバランスをとる。
• エポックの入れ替えやバッチの入れ替えといったデータサンプリング戦略を採用し、ImageNetと動画データセットを統一されたトレーニングスケジュールで学習する。
• 層正則化とL2正則化をフローエstimatorヘッドに適用し、学習の安定化と性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク設定でオプティカルフローとコンテンツ特徴を同時に学習することで、動き推定と意味理解タスクの両方の性能が向上するか？
• RQ2 事前学習中にフローエステイマの導入順序とタイミングが、最終的な表現品質にどのように影響するか？
• RQ3 多様な下流タスクにおける性能を最大化するための、フローエステイマと自己教師型コンテンツ学習の最適なバランスは何か？
• RQ4 サイクル一貫性と分散・共分散正則化を組み込むことで、自己教師型設定におけるオプティカルフロー推定が顕著に向上するか？
• RQ5 画像と動画データを混合して学習した1つの共有エンコーダーが、セグメンテーションやその他の密度予測タスクにうまく一般化する特徴を生成できるか？

主な発見

• MC-JEPAはKITTI 2015のフローエラーを2.67に達成し、自己教師型手法として最先端の性能を維持しながら、同時にコンテンツ特徴も学習した。
• Cityscapesデータセットでは、画像セグメンテーションで67.1%のmIoU、動画セグメンテーションで70.5%を達成し、優れた転移性能を示した。
• アブレーションスタディの結果、ImageNet事前学習の10エポック後にフローエステイマの学習を開始すると最適な結果が得られ、計算量の削減が可能であることが示された。これは、初期段階での統合学習が必須ではないことを示唆している。
• サイクル一貫性損失はフローエステイマの性能を顕著に向上させ、係数が0.01の際にピークに達し、埋め込み空間の安定化に寄与することが明らかになった。
• マルチタスクバランス係数は極めて重要であり、0.1を超えると性能が低下し、動きとコンテンツ学習の間にはトレードオフがあることが示された。
• ConvNeXt-Tをバックボーンとして使用した場合が最良の性能（ISeg: 67.1%、VSeg: 70.5%）を示し、ResNet-50 や PWC-Net を上回った。これは、アーキテクチャ選択が特徴品質に大きく影響することを示唆している。