[論文レビュー] Context Autoencoder for Self-Supervised Representation Learning

Xiaokang Chen, Mingyu Ding+8 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、符号化空間におけるマスクされたパッチ表現の予測と、これらの予測からのパッチ再構成を通じて、マスク画像モデリングを改善する自己教師あり表現学習手法であるコンテキストオートエンコーダー（CAE）を提案する。エンコーダー・レグレッサー・デコーダー構造を用いて表現学習と再構成を分離することで、CAEは画像分類、オブジェクト検出、セマンティックセグメンテーションといった下流タスクで最先端性能を達成し、教師ありおよび対照的事前学習ベースラインを上回る。

ABSTRACT

We present a novel masked image modeling (MIM) approach, context autoencoder (CAE), for self-supervised representation pretraining. We pretrain an encoder by making predictions in the encoded representation space. The pretraining tasks include two tasks: masked representation prediction - predict the representations for the masked patches, and masked patch reconstruction - reconstruct the masked patches. The network is an encoder-regressor-decoder architecture: the encoder takes the visible patches as input; the regressor predicts the representations of the masked patches, which are expected to be aligned with the representations computed from the encoder, using the representations of visible patches and the positions of visible and masked patches; the decoder reconstructs the masked patches from the predicted encoded representations. The CAE design encourages the separation of learning the encoder (representation) from completing the pertaining tasks: masked representation prediction and masked patch reconstruction tasks, and making predictions in the encoded representation space empirically shows the benefit to representation learning. We demonstrate the effectiveness of our CAE through superior transfer performance in downstream tasks: semantic segmentation, object detection and instance segmentation, and classification. The code will be available at https://github.com/Atten4Vis/CAE.

研究の動機と目的

• 表現学習と再構成タスクの分離を通じて、自己教師あり表現学習を改善すること。
• 従来のマスク画像モデリング（MIM）手法が1つのネットワーク内で表現学習と再構成を混合するという限界を解消すること。
• 可視パッチ特徴量と位置情報を利用し、符号化表現空間での予測を通じて表現品質を向上させること。
• 潜在空間での予測が意味的表現学習を改善することを実証的に検証すること。
• 分類、検出、セグメンテーションなどの下流タスクにおける優れた転移性能を示すこと。

提案手法

• モデルはエンコーダー・レグレッサー・デコーダー構造を採用する：エンコーダーは可視パッチのみを処理し、それらの表現を抽出する。
• 潜在的コンテキストレグレッサーは、可視パッチの表現とその空間的位置を用いて、マスクされたパッチの表現を予測する。
• 予測されたマスクされた表現は、エンコーダーで計算された真値表現と一致するように調整され、コントラスト型アライメント損失によって一貫性が保証される。
• 別個のデコーダーは予測された表現から元のマスクされたパッチを再構成し、エンドツーエンドの学習を可能にする。
• 事前学習タスクはマスク表現予測とマスクパッチ再構成を組み合わせており、両目的をバランスさせる重み付き損失関数が用いられる。
• エンコーダーは可視パッチのみで学習され、その主な役割は表現学習に集中する。再構成と予測はそれぞれレグレッサーとデコーダーが担当する。

実験結果

リサーチクエスチョン

• RQ1 符号化空間におけるマスクパッチ表現の予測は、自己教師あり表現学習を改善できるか？
• RQ2 表現学習と再構成の分離は、下流タスクの性能向上に寄与するか？
• RQ3 標準ベンチマークにおいて、CAEは教師あり事前学習および対照的自己教師あり手法と比較してどのように性能を発揮するか？
• RQ4 再構成ターゲットの違い（例：DALL-Eトークナイザー、d-VAE、RGBピクセル）がCAEの性能に与える影響は何か？
• RQ5 マスク率が学習された表現の汎化性とロバスト性に与える影響は何か？

主な発見

• ImageNet-1Kでは線形プローブ精度が72.4%に達し、教師あり事前学習および対照的自己教師あり手法を上回る。
• ADE20Kデータセットでは、セマンティックセグメンテーションで50.4%のmIoUを達成し、以前のMIMおよび対照的手法を上回る。
• 50%のマスク率で、性能のバランスが最良となり、64.2%の線形プローブ精度を達成し、40%および60%のマスク率よりも多くの指標で優れている。
• 再構成ターゲットとしてRGBピクセル値を使用すると、線形プローブ（72.4%）およびセグメンテーション（50.4%）の結果が最も良くなるが、他のトークナイザーと比較して注意プローブはわずかに劣る。
• 4層のレグレッサーおよびデコーダー構造が全体的な性能を最も高め、線形プローブ精度64.1%、注意プローブ精度73.8%を達成する。
• 損失のトレードオフパラメータλ = 2が最良の性能（線形プローブ64.1%）を示すが、λ = 1.5およびλ = 1の設定でも良好な性能を示す。