[論文レビュー] Masked Modeling for Self-supervised Representation Learning on Vision and Beyond

Siyuan Li, Luyuan Zhang+9 more|arXiv (Cornell University)|Dec 31, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本調査は、視覚、自然言語処理（NLP）、音声、その他のモダリティにわたる自己教師付き表現学習におけるマスキングモデル化（MIM）の包括的レビューを提供する。マスキング戦略、再構成ターゲット、アーキテクチャなどの技術を体系化し、NLPにおけるMIMの優位性と視覚分野における急成長する影響を強調するとともに、解釈可能性、マルチモーダル統合、高次元データへの拡張といった主要な課題と今後の方向性を同定する。

ABSTRACT

As the deep learning revolution marches on, self-supervised learning has garnered increasing attention in recent years thanks to its remarkable representation learning ability and the low dependence on labeled data. Among these varied self-supervised techniques, masked modeling has emerged as a distinctive approach that involves predicting parts of the original data that are proportionally masked during training. This paradigm enables deep models to learn robust representations and has demonstrated exceptional performance in the context of computer vision, natural language processing, and other modalities. In this survey, we present a comprehensive review of the masked modeling framework and its methodology. We elaborate on the details of techniques within masked modeling, including diverse masking strategies, recovering targets, network architectures, and more. Then, we systematically investigate its wide-ranging applications across domains. Furthermore, we also explore the commonalities and differences between masked modeling methods in different fields. Toward the end of this paper, we conclude by discussing the limitations of current techniques and point out several potential avenues for advancing masked modeling research. A paper list project with this survey is available at \url{https://github.com/Lupin1998/Awesome-MIM}.

研究の動機と目的

• 多様なモダリティにわたる自己教師付き表現学習におけるマスキングモデル化（MIM）の統一的かつ包括的なレビューを提供すること。
• マスキング戦略、再構成ターゲット、ネットワークアーキテクチャ、トークナイゼーション手法を含む、MIMの主要な構成要素を体系化し、比較すること。
• 視覚、NLP、マルチモーダル学習、その他の分野におけるMIMの進化と現状を分析し、対照的学習から生成的事前学習へのパラダイムシフトを強調すること。
• 解釈可能性、理論的基盤、計算効率に関する未解決の課題を同定し、今後の研究方向性を提案すること。
• 研究者を支援するために、MIM研究の包括的な論文リストとプロジェクトリポジトリ（https://github.com/Lupin1998/Awesome-MIM）をキュレートすること。

提案手法

• MIMを生成的および判別的パラダイムに分類し、NLPにおける主要なアプローチとして生成的MIMに焦点を当てる。
• ランダム、ブロック、または学習されたマスキングなどのマスキング戦略をレビューし、それらが異なるモダリティにおける表現品質に与える影響を検討する。
• ピクセルレベル、パッチレベル、トークンレベルの再構成を含む再構成ターゲットを分析し、MAEおよびBERT風の目的関数に特に注目する。
• ViTやTransformerバックボーンなどのアーキテクチャ的要素と、効率的なデータ圧縮を可能にするVQベースのモデルとの統合を検討する。
• 対照的学習（CL）とMIMを比較し、理論的基盤、タスクの明確さ、計算コストの違いを強調する。
• 新たなパラダイムとして中心モダリティへのモダリティ統合や拡散ベースの統合を用いる、進化中のマルチモーダルMIMフレームワークを検討し、3D/4Dデータへの拡張における課題を議論する。

実験結果

リサーチクエスチョン

• RQ1 視覚、NLP、音声、グラフなどの異なるモダリティにおいて、マスキング、トークナイゼーション、再構成戦略の観点からMIMはどのように異なるか？
• RQ2 自己教師付き事前学習におけるMIMの成功に寄与する主な技術的構成要素と設計選択とは何か？
• RQ3 対照的学習の時代に先んじていたにもかかわらず、なぜMIMはNLPで優位を占め、現在ではコンピュータビジョンでも急成長しているのか？
• RQ4 対照的学習と比較して、MIMの解釈における主な理論的・実用的課題は何か？
• RQ5 特にマルチモーダル学習と高次元データにおいて、MIMの今後の有望な研究方向性は何か？

主な発見

• マスキングモデル化は、BERT（2018年）以降、NLP分野で支配的となった。その後、ViT（2021年）以降、特にMAEを介してコンピュータビジョン分野でも主要なアプローチとなっている。
• MIMの成功は、マスキング再構成を通じて頑健で転送可能な表現を学習できる能力に起因し、一部のビジョンベンチマークでは対照的学習を上回る性能を示している。
• 強力な実験的成果にもかかわらず、MIMには統一的な理論的説明がなく、現在の解釈は特定のタスクや経験的観察に限定されている。
• MIMとVQベースのモデルの統合は、動画や3次元ポイントクラウド学習において重要なトレンドとして浮上しており、より効率的なデータ圧縮と再構成を可能にしている。
• マルチモーダルMIMは、中心モダリティへのモダリティ統合や拡散ベースの手法といった新たなパラダイムを経て進化しているが、技術的課題は依然として残っている。
• 現在のMIM手法は、対照的学習の明確なInfoNCE目的関数と統一されたアーキテクチャに比べ、高い計算コストと限られた解釈可能性を抱える。