[論文レビュー] CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models

Zhenghao He, Kèyù Zhü+3 more|arXiv (Cornell University)|Jan 21, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

CASLは拡散モデルの疎な潜在次元を人間の意味概念と整合させる監視フレームワークを提示し、CASL-Steerと新しいEditing Precision Ratioで検証する。

ABSTRACT

Internal activations of diffusion models encode rich semantic information, but interpreting such representations remains challenging. While Sparse Autoencoders (SAEs) have shown promise in disentangling latent representations, existing SAE-based methods for diffusion model understanding rely on unsupervised approaches that fail to align sparse features with human-understandable concepts. This limits their ability to provide reliable semantic control over generated images. We introduce CASL (Concept-Aligned Sparse Latents), a supervised framework that aligns sparse latent dimensions of diffusion models with semantic concepts. CASL first trains an SAE on frozen U-Net activations to obtain disentangled latent representations, and then learns a lightweight linear mapping that associates each concept with a small set of relevant latent dimensions. To validate the semantic meaning of these aligned directions, we propose CASL-Steer, a controlled latent intervention that shifts activations along the learned concept axis. Unlike editing methods, CASL-Steer is used solely as a causal probe to reveal how concept-aligned latents influence generated content. We further introduce the Editing Precision Ratio (EPR), a metric that jointly measures concept specificity and the preservation of unrelated attributes. Experiments show that our method achieves superior editing precision and interpretability compared to existing approaches. To the best of our knowledge, this is the first work to achieve supervised alignment between latent representations and semantic concepts in diffusion models.

研究の動機と目的

• 拡散モデル内部の解釈を人間の概念に関連付けて促進する。
• 監視付き整列を通じてSAE表現から概念整列スパース潜在を学習するCASLを開発する。
• 整列方向の意味的影響を検証する因果プローブとしてCASL-Steerを提供する。
• 対象概念の編集強度と関連しない属性の保持を同時に定量化するEditing Precision Ratio（EPR）を導入する。

提案手法

• 凍結されたU-Netの活性化に対してスパースオートエンコーダ（SAE）を訓練し、分離されたスパース潜在空間Zを得る。
• SAEエンコーダを凍結し、Δh = WΔ z + bΔ によって概念ごとに小さな潜在次元のセットを関連付ける軽量線形写像を学習する。
• Δhをhに足して活性化を編集し、DDIM逆変換で編集画像を生成して評価する。
• DiffusionCLIPベースの損失とL1再構成項を用いて編集をターゲット概念に整列させる。
• CASL-Steerは上位k個の概念整列潜在方向を構築し、それらの意味的影響を探査機構として評価する。
• ターゲット属性の変更を非ターゲット属性の変化と比較して測定するEditing Precision Ratio（EPR）を提案する。

実験結果

リサーチクエスチョン

• RQ1 スーパーバイズド設定から学習されたスパース潜在方向は、拡散モデルにおける人間定義の意味概念と整合するか。
• RQ2 概念整列潜在方向は、局所的かつ分離可能な方法で生成内容に因果的影響を及ぼすか。
• RQ3 CASLフレームワークは、既存手法と比較して最小限の非意図的変更で厳密な意味的編集を可能にするか。
• RQ4 提案されたEPR指標は、概念整合と編集精度を評価する上でどれほど有効か。

主な発見

• CASLは意味概念に整列したスパース潜在方向を実現し、標的意味編集を実現しつつ副次的変更を最小化できる。
• CASL-Steerは因果プローブを提供し、整列方向に沿った編集が CelebA-HQ、AFHQ-Dog、LSUN-Church のデータセット全体で意図した属性に信頼性をもって影響を与えることを示す。
• CASLは従来の編集法より高いEditing Precision Ratio（EPR）を示し、精度と解釈可能性が優れていることを示す。
• SVMプロービングにより、上位k個の整列潜在ユニットを用いた概念分離が高く、概念ごとに16ユニットを使用するとほぼ完璧な精度を達成する。
• SAE表現は再構成品質と sparsity のバランスを取り、解釈可能な潜在ベースを過度な忠実度の損失なく支持する。