[論文レビュー] How to Understand Masked Autoencoders

Shuhao Cao, Peng Xu+1 more|arXiv (Cornell University)|Feb 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 23

ひとこと要約

MAEの統一理論フレームワークを提示し、パッチベースの注意を積分カーネルとしてモデル化し、MAEのパッチ化、スキップ接続、デコーダが安定で豊かな表現に寄与する理由を分析する。

ABSTRACT

"Masked Autoencoders (MAE) Are Scalable Vision Learners" revolutionizes the self-supervised learning method in that it not only achieves the state-of-the-art for image pre-training, but is also a milestone that bridges the gap between visual and linguistic masked autoencoding (BERT-style) pre-trainings. However, to our knowledge, to date there are no theoretical perspectives to explain the powerful expressivity of MAE. In this paper, we, for the first time, propose a unified theoretical framework that provides a mathematical understanding for MAE. Specifically, we explain the patch-based attention approaches of MAE using an integral kernel under a non-overlapping domain decomposition setting. To help the research community to further comprehend the main reasons of the great success of MAE, based on our framework, we pose five questions and answer them with mathematical rigor using insights from operator theory.

研究の動機と目的

• 表現力と成功を説明するために、数学的観点から MAE を再考する。
• 非重なり合う領域分解の下で、積分カーネルフレームワークの中に MAE のパッチベースの注意をモデル化する。
• パッチ適用、デコーダ、およびスキップ接続が表現の質と安定性にどのように寄与するかを説明する。

提案手法

• MAE の埋め込みを、座標として位置埋め込みを用いたリーヒルベルト空間の学習済み基底関数として扱う。
• スケールド・ドットプロダクト注意を非線形積分カーネルトランスフォームとして定式化し、RKHS（再生核ヒルベルト空間）概念に関連付ける。
• 低ランク画像仮定の下で、近似最適なパッチ埋め込み命題を介してランダムなパッチ選択が情報を保持することを示す。
• 平行移動不変かつ対称なカーネルを用いた層間表現の安定性のカーネルベース分析（定理5.1に至る条件）を提供する。
• デコーダーがより高いパッチ次元とBarron-空間似 embeddings を通じてエンコーダの表現空間を豊かにする役割を主張する。
• 局所的な隣接パッチのみならず、注意を通じたマスク済みパッチのグローバル補間について論じる。

実験結果

リサーチクエスチョン

• RQ1 Q1 MAEの表現空間はどのように形成され、最適化され、層を通じて伝播するのか？
• RQ2 Q2 なぜ、そしてどのようにパッチ化がMAEに寄与するのか？
• RQ3 Q3 低層と高層のMAE内部表現が大きく異ならない理由は？
• RQ4 Q4 MAEにおいてデコーダは重要ですか？
• RQ5 Q5 マスクされたパッチは隣接パッチから再構成されるのか、それとも注意によって学習されたグローバル補間によるのか？

主な発見

• 注意は学習可能な積分カーネルトランスフォームとして解釈され、表現はBarron-space埋め込みによって更新される。
• パッチ化は低ランク画像仮定の下で情報を保持し、ドメイン分解ビューの下で計算を削減する。
• ソフトマックス正規化とカーネル特性により内部表現は層を超えて安定に伝播する。スキップ接続はティコノフ正則化されたフレッドホルム方程式に関連する。
• デコーダはエンコーダの表現空間を著しく豊かにし、より高いパッチ次元のアップサンプリング機構によるより良い再構成を可能にする。
• マスクされたパッチは隣接パッチから再構成されるのではなく、注意によって学習されたグローバルなパッチ間トポロジーによって再構成される。