[論文レビュー] Memory in Plain Sight: Surveying the Uncanny Resemblances of Associative Memories and Diffusion Models

Benjamin Hoover, Hendrik Strobelt+4 more|arXiv (Cornell University)|Sep 28, 2023

Neural Networks and ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、拡散モデルと関連記憶の間の深い数学的同等性を明らかにし、両者が固定点アトラクターに向けて勾配降下を実行するLyapunovエネルギー関数の上に存在することを示している。拡散モデルをホープフィールドネットワークに類似したエネルギーベースのシステムとして再定式化することで、収束、記憶容量、最適化に関する理論的保証が可能となり、生成モデルと記憶再構築を共通の力学系フレームワークで統合する。

ABSTRACT

The generative process of Diffusion Models (DMs) has recently set state-of-the-art on many AI generation benchmarks. Though the generative process is traditionally understood as an "iterative denoiser", there is no universally accepted language to describe it. We introduce a novel perspective to describe DMs using the mathematical language of memory retrieval from the field of energy-based Associative Memories (AMs), making efforts to keep our presentation approachable to newcomers to both of these fields. Unifying these two fields provides insight that DMs can be seen as a particular kind of AM where Lyapunov stability guarantees are bypassed by intelligently engineering the dynamics (i.e., the noise and step size schedules) of the denoising process. Finally, we present a growing body of evidence that records DMs exhibiting empirical behavior we would expect from AMs, and conclude by discussing research opportunities that are revealed by understanding DMs as a form of energy-based memory.

研究の動機と目的

• 力学系と常微分方程式（ODE）を用いて、拡散モデルと関連記憶の間の正式な数学的関係を確立すること。
• 拡散モデルの逆ノイズ除去プロセスが、関連記憶におけるエネルギー勾配降下と同等であることを示すこと。
• 標準的な拡散モデルに欠けているが、関連記憶には存在する理論的利点（例えば、固定点への保証された収束）を明らかにすること。
• 拡散モデルとトランスフォーマーのアーキテクチャを関連記憶理論の視点から再解釈することで、生成モデル分野における新たな研究方向性を提起すること。
• エネルギーベースのシステムにおける記憶容量を介して、大規模モデルにおけるスケーリング則を理論的に理解する基盤を提供すること。

提案手法

• 連続時間のODEとして拡散モデルを形式化し、Lyapunovエネルギー関数への勾配降下と同等であることを露呈すること。
• 拡散モデルの逆ノイズ除去プロセスを、エネルギーの局所的最小値に収束する関連記憶の記憶再構築ダイナミクスにマッピングすること。
• スコアベースモデルから導出されたエネルギー関数を用いてLyapunov関数を定義し、逆プロセスにおける安定性と収束を保証すること。
• 深層学習で確立された最適化技術（ADAM や L-BFGS など）を、拡散モデルのサンプリングプロセスに応用し、エネルギー関数への勾配降下として扱うこと。
• トランスフォーマーへの拡張として、アテンション機構が密な関連記憶の1ステップ更新に類似していることを示し、「エネルギー変換器（Energy Transformer）」ブロックを提案すること。
• エネルギーの局所的最小点の数としての記憶容量とスケーリング則を分析し、モデルサイズと性能を関連記憶容量に関連付けること。

Figure 1: Comparing the emphases of Diffusion Models and Associative Memories tasked with learning the same energy (negative log-probability) landscape, represented with both contours and gradient arrows. Diffusion Models (left) train a score function (depicted as orange arrows) to model the gradien

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの逆ノイズ除去ダイナミクスと関連記憶の記憶再構築ダイナミクスの関係は何か？
• RQ2 関連記憶に内在する理論的保証（例：収束）は、標準的な拡散モデルには欠けているが、どのようなものか？
• RQ3 拡散モデルのサンプリングプロセスをエネルギー関数への勾配降下として再解釈できるか？その場合、どのような最適化上の利点が得られるか？
• RQ4 トランスフォーマーのような現代のアーキテクチャは、その計算的ダイナミクスにおいてどの程度関連記憶に類似しているか？
• RQ5 大規模モデルにおける記憶容量とスケーリング則は、関連記憶理論の視点からどのように理論的に理解できるか？

主な発見

• 拡散モデルの逆ノイズ除去プロセスは、関連記憶と同様に、Lyapunovエネルギー関数への数学的勾配降下と同等である。
• 拡散モデルとは異なり、関連記憶は固定点（局所的最小点）への収束を保証しており、理論的安定性の面で優位性を示す。
• 関連記憶におけるエネルギー関数は直接計算可能で最適化可能であり、これにより標準的な拡散モデルには存在しない新たな解析手法や訓練手法が可能になる。
• 拡散モデルは連続時間力学系として再解釈可能であり、アトラクターに収束するため、記憶容量と安定性の理論的特徴付けが可能になる。
• 拡散モデルのサンプリングプロセスは、エネルギー勾配降下として再定式化することで、ADAM や L-BFGS といった高度な最適化手法を用いて高速化できる。
• トランスフォーマーのアテンション機構は、密な関連記憶の1ステップ更新に類似しており、アテンションと記憶再構築の間にはより深い理論的関係がある可能性を示唆している。

Figure 2: Diffusion Models through the lens of PF-ODEs, adapted from [ 2 ] . The forward (corrupting) process takes a true data point at time $s=0$ and corrupts the data into pure noise at time $s=T$ using an SDE. The reverse (reconstructing) process undoes the corruption using the score of the dist