[論文レビュー] CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion

Philippe Weinzaepfel, Vincent Leroy+8 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Vision and Imaging被引用数 16

ひとこと要約

CroCoは、1枚の画像内のマスクされたパッチを、可視パッチと同一シーンのもう1枚のマスクされていない画像を用いて再構成することで、自己教師あり事前学習手法を3次元ビジョンに提案する。この手法は、多視点幾何を活用して曖昧さを解消し、単眼深度推定でSOTAを達成するとともに、タスク固有の設計を施さずにバイノキュラータスク（例：光流）においても競争力ある結果を得た。

ABSTRACT

Masked Image Modeling (MIM) has recently been established as a potent pre-training paradigm. A pretext task is constructed by masking patches in an input image, and this masked content is then predicted by a neural network using visible patches as sole input. This pre-training leads to state-of-the-art performance when finetuned for high-level semantic tasks, e.g. image classification and object detection. In this paper we instead seek to learn representations that transfer well to a wide variety of 3D vision and lower-level geometric downstream tasks, such as depth prediction or optical flow estimation. Inspired by MIM, we propose an unsupervised representation learning task trained from pairs of images showing the same scene from different viewpoints. More precisely, we propose the pretext task of cross-view completion where the first input image is partially masked, and this masked content has to be reconstructed from the visible content and the second image. In single-view MIM, the masked content often cannot be inferred precisely from the visible portion only, so the model learns to act as a prior influenced by high-level semantics. In contrast, this ambiguity can be resolved with cross-view completion from the second unmasked image, on the condition that the model is able to understand the spatial relationship between the two images. Our experiments show that our pretext task leads to significantly improved performance for monocular 3D vision downstream tasks such as depth estimation. In addition, our model can be directly applied to binocular downstream tasks like optical flow or relative camera pose estimation, for which we obtain competitive results without bells and whistles, i.e., using a generic architecture without any task-specific design.

研究の動機と目的

• 教師なしの画像ペアから3次元幾何を捉えた表現を学ぶこと。
• 1視点でのマスク画像モデリングにおける曖昧さを解消するため、2番目の視点を導入して幾何的推論を可能にすること。
• 単眼3次元ビジョンタスク（例：深度推定）やバイノキュラータスク（例：光流）における転移性能を向上させること。
• 多様な3次元ビジョンタスクに一般化可能な、アーキテクチャに依存しない汎用的な事前学習手法を開発すること。
• クロスビュー再構成が、視点間の空間的関係を活用することで、正確な再構成を可能にすることを示すこと。

提案手法

• モデルは、同一シーンの2枚の画像を処理するシアンサイト型Vision Transformer（ViT）エンコーダを用いる。そのうち1枚の画像は部分的にマスクされている。
• マスク画像からの可視パッチと、参照画像からの全パッチが、潜在トークンにエンコードされる。
• トランスフォーマー・デコーダは、クロスアテンションを用いて可視パッチと参照画像のトークンの両方に注目し、クロスビュー推論を可能にする。
• デコーダは、パッチ単位の再構成損失を用いて、マスクされたパッチの外観を予測する。これはMAEと同様のアプローチである。
• モデルは、Habitatシミュレータから得た合成インDoorシーンを用いて、高いマスキング比（例：90%）で事前学習される。
• 下流タスクでは、単眼タスク（例：深度推定）ではデコーダを破棄するが、バイノキュラータスク（例：光流）ではフルアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 クロスビュー再構成は、1視点でのマスク画像モデリングを上回る3次元幾何を捉えた表現を学習できるか？
• RQ2 2番目の視点を用いることで、画像再構成の曖昧さが軽減され、下流の3次元ビジョン性能が向上するか？
• RQ3 1つの事前学習モデルが、単眼およびバイノキュラー3次元ビジョンタスクの両方で優れた性能を達成できるか？
• RQ4 マスキング比がクロスビュー再構成設定における事前学習性能に与える影響はいかほどか？
• RQ5 明示的な教師信号なしに、モデルは視点間の空間的・幾何的関係をどの程度学習できるか？

主な発見

• CroCoは、NYUv2データセットにおいて、先行する自己教師あり手法を上回る、単眼深度推定でSOTAの性能を達成した。
• タスク固有のアーキテクチャ変更なしに、光流や相対ポーズ推定といったバイノキュラータスクにおいても、競争力ある結果を得た。
• 事前学習時に高いマスキング比（例：90%）を用いることで、下流タスクでの性能が顕著に向上した。
• 実際の参照画像を用いた再構成は、ランダムノイズを用いた場合よりも顕著に正確であり、モデルが幾何的一致性に依存していることを示した。
• クロスビューの監視のおかげで、特に正規化パッチ再構成において、MAEよりも詳細かつ一貫性のある再構成が得られた。
• 品質評価例から、未学習のシーンに対してもモデルが良好に一般化していることが示された。