[論文レビュー] Denoising Diffusion Autoencoders are Unified Self-supervised Learners

Weilai Xiang, Yang Hongyu+2 more|arXiv (Cornell University)|Mar 17, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文は、無条件画像生成のために事前学習されたノイズ除去拡散オートエンコーダー（DDA）が、中間層において高々線形分離可能な表現を内蔵しており、生成的および識別的タスクの両方に対して統合的自己教師学習者として機能できることを示している。補助エンコーダーを用いずに、CIFAR-10では95.9%、Tiny-ImageNetでは50.0%の線形プローブ精度を達成し、最先端の対照的学習およびマスクオートエンコーディング手法と同等の性能を示した。

ABSTRACT

Inspired by recent advances in diffusion models, which are reminiscent of denoising autoencoders, we investigate whether they can acquire discriminative representations for classification via generative pre-training. This paper shows that the networks in diffusion models, namely denoising diffusion autoencoders (DDAE), are unified self-supervised learners: by pre-training on unconditional image generation, DDAE has already learned strongly linear-separable representations within its intermediate layers without auxiliary encoders, thus making diffusion pre-training emerge as a general approach for generative-and-discriminative dual learning. To validate this, we conduct linear probe and fine-tuning evaluations. Our diffusion-based approach achieves 95.9% and 50.0% linear evaluation accuracies on CIFAR-10 and Tiny-ImageNet, respectively, and is comparable to contrastive learning and masked autoencoders for the first time. Transfer learning from ImageNet also confirms the suitability of DDAE for Vision Transformers, suggesting the potential to scale DDAEs as unified foundation models. Code is available at github.com/FutureXiang/ddae.

研究の動機と目的

• 拡散モデルが生成と認識の両方のタスクに統合的自己教師学習者として機能できるかどうかを調査すること。
• ノイズ除去拡散オートエンコーダー（DDA）が、生成的事前学習のみを通じて識別的表現を学習するかどうかを評価すること。
• 線形プローブおよび微調整設定において、DDAEの性能を対照的学習およびマスクオートエンコーダーと比較すること。
• Vision Transformerおよび大規模データセット（例：ImageNet）へのDDAEのスケーラビリティと転送可能性を評価すること。
• 拡散モデルに内在するノイズ除去プロセスが、識別的表現学習を暗黙的に支援するかどうかを検討すること。

提案手法

• ノイズスケジュールを用いて、画像に段階的にノイズを追加し、その逆方向のプロセスを学習するように、無条件画像生成のためのノイズ除去拡散オートエンコーダー（DDA）を事前学習する。
• ノイズ付与プロセス中にDDAエンコーダーの内部特徴を抽出し、線形プローブを用いて識別的品質を評価する。
• プロービングによって特定された最高性能の層でDDAエンコーダーを切り詰め、その結果得られるモデルを画像分類のための微調整に用いる。
• CIFAR-10およびTiny-ImageNetにおいて、線形プローブおよび微調整プロトコルを用いて、DDAEの性能を対照的学習（SimCLR）およびマスクオートエンコーダー（MAE）と比較する。
• ImageNetで学習されたクラス条件付きDDAEバージョンを無条件の方法で評価し、転移学習の可能性を検証する。
• メトリクスに基づく層選択法を用いて、追加の教師信号なしに最も識別的である中間表現を同定する。

実験結果

リサーチクエスチョン

• RQ1 無条件画像生成のための事前学習のみで、補助的監視や明示的な対照的目的なしに、拡散モデルが中間層に強力な識別的表現を学習できるか？
• RQ2 CIFAR-10やTiny-ImageNetといった標準ベンチマークにおいて、DDAEベースの自己教師学習表現学習の性能は、最先端の対照的学習およびマスクオートエンコーディング手法と比べてどうか？
• RQ3 DDAEの中間特徴空間は、画像分類のための線形プローブおよび微調整に有効であるほど十分に線形性と分離性を示しているか？
• RQ4 DDAEはVision Transformerに効果的に転送可能であり、ImageNetのような大規模データセットへスケーリング可能であり、統合的基盤モデルとしての可能性を示唆しているか？
• RQ5 拡散モデルにおけるノイズ除去プロセスと識別的特徴の出現との関係は何か？また、対照的学習やマスクモデリング手法と比べてどう異なるか？

主な発見

• 無条件画像生成のためのDDA事前学習により、中間特徴が非常に線形分離可能となり、追加の訓練なしに線形プローブ評価において優れた性能を示す。
• CIFAR-10では、DDAEが95.9%の線形プローブ精度を達成し、最先端の対照的学習およびマスクオートエンコーディング手法と同等またはそれを上回る性能を示した。
• Tiny-ImageNetでは、DDAEが50.0%の線形プローブ精度を達成し、その複雑さを考慮しても競争力のある性能を示した。
• 切り詰めたDDAEエンコーダーを微調整した場合、CIFAR-10で97.2%、Tiny-ImageNetで69.4%の精度を達成し、分類タスクへの強力な転送性を示した。
• ImageNetで微調整した場合、DDAEベースのモデルはCIFAR-10で98.1%、Tiny-ImageNetで77.8%の精度を達成し、スケーラビリティと転移学習への有効性を確認した。
• DDAEの性能はMAEやSimCLRと同等であり、拡散ベースの事前学習が生成的および識別的学習の両方の代替手段として統合的に機能できることを示唆している。