[論文レビュー] Diffusion-Based Representation Learning

Mittal, Sarthak, Korbinian Abstreiter+3 more|arXiv (Cornell University)|May 29, 2021

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、ノイズ除去スコアマッチングを再定式化することで、学習された表現の詳細度を手動で制御できる、新しい非教師あり表現学習フレームワークである拡散ベース表現学習（DRL）を紹介する。無限次元の潜在コードにスコアマッチング目的を条件づけることで、半教師あり画像分類で最先端の性能を達成するとともに、品質を損なわずに高速なサンプリングを実現し、下流タスクにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Diffusion-based methods represented as stochastic differential equations on a continuous-time domain have recently proven successful as a non-adversarial generative model. Training such models relies on denoising score matching, which can be seen as multi-scale denoising autoencoders. Here, we augment the denoising score matching framework to enable representation learning without any supervised signal. GANs and VAEs learn representations by directly transforming latent codes to data samples. In contrast, the introduced diffusion-based representation learning relies on a new formulation of the denoising score matching objective and thus encodes the information needed for denoising. We illustrate how this difference allows for manual control of the level of details encoded in the representation. Using the same approach, we propose to learn an infinite-dimensional latent code that achieves improvements of state-of-the-art models on semi-supervised image classification. We also compare the quality of learned representations of diffusion score matching with other methods like autoencoder and contrastively trained systems through their performances on downstream tasks.

研究の動機と目的

• 教師信号やデータオーグメンテーションに依存しない、拡散モデル内での表現学習フレームワークの開発。
• 拡散プロセスにおけるノイズスケールの調整により、表現に含まれる詳細度を手動で制御可能にする。
• 学習済み表現を事前学習として用いることで、半教師あり画像分類タスクにおける下流性能の向上。
• 拡散モデルにおけるサンプリングの遅さというボトル neck を、初期ノイズスケールの最適化によって緩和する。
• ドメイン固有のオーグメンテーション不変性に依存しない、情報理論的根拠に基づく対照的学習の代替手法を提供する。

提案手法

• 元のクリーンデータ x₀ の潜在コード z を条件とする条件付き目的に、ノイズ除去スコアマッチングを再定式化する。
• 高精度で細分化された特徴を捉えるために、無限次元の潜在コードを導入し、下流タスクにおける一般化性能の向上を図る。
• 生成モデル学習で用いられる同一のスコアマッチング損失を用いるが、潜在表現に条件づけることで、損失を任意にゼロに近づけることが可能になる。
• 前向きの拡散プロセスに連続時間確率微分方程式（SDE）フレームワークを採用し、逆過程はスコアマッチングにより学習する。
• 初期ノイズスケール t_init を最適化することで、画像品質を維持したままサンプリングステップ数を最大30％削減する。この際、一様分布とガウス分布の和を事前分布として用いる。
• ノイズのない入力から特徴を抽出するエンコーダーを訓練することで、ノイズレベルに応じた特徴の粒度を明示的に制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去スコアマッチングを再定式化することで、データオーグメンテーションや教師信号を必要としない非教師あり表現学習が可能になるか？
• RQ2 拡散ベースフレームワーク内で、学習済み表現の詳細度を手動で制御する方法は何か？
• RQ3 無限次元の潜在コードは、少数のサンプル分類などの下流タスクで性能向上をもたらすか？
• RQ4 拡散プロセスにおける初期ノイズスケールの最適化により、画像品質を損なわずにサンプリング時間を短縮できるか？
• RQ5 対照的学習やオートエンコーダーに基づくアプローチと比較して、提案手法DRLの表現品質と一般化性能はどのように異なるか？

主な発見

• 提案されたDRLフレームワークにより、表現の粒度を手動で制御可能であることが実証された：高いノイズレベルでは粗い特徴が、低いノイズレベルではストローク幅のような細分化された詳細がエンコードされる。
• 無限次元の潜在コードは、半教師あり画像分類タスクにおいて顕著な性能向上をもたらし、LaplaceNetなどの最先端モデルを上回る性能を示した（事前学習として使用した場合）。
• 初期ノイズスケール t_init を 0.7 に設定することで、FIDスコアと視覚的品質の両面で品質を損なわずに、サンプリングステップ数を30％削減できた。
• t_init ≈ 0.7 で一様分布とガウス分布の和を事前分布として用いることで、標準的な事前分布よりも画像品質が向上した。これは、真のデータ分布をよりよく近似している可能性を示唆している。
• 従来手法とは異なり、学習済み表現によりDRL損失を任意にゼロに近づけることができ、エンコーダー内での情報チャネルに理論的根拠を与える。
• 下流タスクにおいて、対照的学習やオートエンコーダーの手法を上回る性能を発揮した。特に、ドメイン固有のオーグメンテーション知識やアーキテクチャの変更を必要としない点が利点である。