[論文レビュー] Latent Diffusion Counterfactual Explanations

Karim Farid, Simon Schrodi+2 more|arXiv (Cornell University)|Oct 10, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、分類器またはテキスト条件付きの基礎的潜在拡散モデルを活用して、高品質で意味的に意味のある対向画像を生成する、モデルおよびデータセットに依存しない方法である潜在拡散対向解釈（LDCE）を提案する。本手法は、拡散モデルの内蔵分類器を用いて敵対的勾配をフィルタリングする、新しいコンSENSUSガイドランス機構を採用することで、補助的な頑健なモデルや計算コストの高いガイドランスに依存せず、訓練データにアクセスできない環境下でも、多様な分類器やデータセットに対して効率的かつ現実的な対向画像生成を可能にする。

ABSTRACT

Counterfactual explanations have emerged as a promising method for elucidating the behavior of opaque black-box models. Recently, several works leveraged pixel-space diffusion models for counterfactual generation. To handle noisy, adversarial gradients during counterfactual generation -- causing unrealistic artifacts or mere adversarial perturbations -- they required either auxiliary adversarially robust models or computationally intensive guidance schemes. However, such requirements limit their applicability, e.g., in scenarios with restricted access to the model's training data. To address these limitations, we introduce Latent Diffusion Counterfactual Explanations (LDCE). LDCE harnesses the capabilities of recent class- or text-conditional foundation latent diffusion models to expedite counterfactual generation and focus on the important, semantic parts of the data. Furthermore, we propose a novel consensus guidance mechanism to filter out noisy, adversarial gradients that are misaligned with the diffusion model's implicit classifier. We demonstrate the versatility of LDCE across a wide spectrum of models trained on diverse datasets with different learning paradigms. Finally, we showcase how LDCE can provide insights into model errors, enhancing our understanding of black-box model behavior.

研究の動機と目的

• 訓練データにアクセスできない環境での適用性が制限される、敵対的頑健なモデルや複雑なガイドランス機構に依存する既存の対向解釈手法の限界を是正すること。
• ターゲット分類器の訓練データにアクセスせずに、多様な分類器やデータセットに対して効率的かつ高品質な対向画像生成を可能にすること。
• 基礎的拡散モデルの内蔵分類器を活用して、対向画像生成中にノイズが多くて敵対的な勾配をフィルタリングすること。
• 潜在拡散を用いて、意味的レベルの変化とピクセルレベルのノイズを分離することで、対向画像が意味的に意味があり、視覚的に現実的であることを保証すること。
• 対向画像の生成によって、分類器の意思決定境界を明らかにすることで、ブラックボックスモデルの挙動に対する解釈可能なインサイトを提供すること。

提案手法

• LDCEは、事前に学習済みの分類器またはテキスト条件付きの潜在拡散モデルを用い、意味的コンテンツとピクセルレベルの詳細を分離して、潜在空間で対向画像を生成する。
• 本手法は、ターゲット分類器の勾配と拡散モデルの内蔵分類器の勾配を一致させるコンセンサスガイドランス機構を導入し、敵対的摂動を抑制する。
• 分類器の損失（目的の予測を達成するため）と距離項（元の入力に近づけるため）を組み合わせた損失を最小化することで、対向画像を最適化する。
• コンセンサス機構は、ターゲットモデルと拡散モデルの内蔵分類器からの勾配の重み付き平均を計算し、整合性のないノイズの多い勾配をフィルタリングする。
• 対向画像生成は、拡散モデルの潜在空間でするため、推論が高速になり、意味的変化とピクセルレベルの変化の分離がより効果的になる。
• 本手法は、ターゲットモデルの学習パラダイム（教師あり、自己教師あり）に依存せず、基礎的拡散モデルのドメインカバレッジに制限されるのみである。

(a) alp $\rightarrow$ coral reef on ImageNet with ResNet-50

実験結果

リサーチクエスチョン

• RQ1 訓練データや補助的頑健なモデルにアクセスせずに、効率的かつ頑健に対向解釈を生成できるか？
• RQ2 基礎的拡散モデルの内蔵分類器を、対向画像生成中の敵対的勾配のフィルタリングに効果的に活用できるか？
• RQ3 LDCEは、多様なデータセットや学習パラダイムにおいて、意味的に意味のある、現実的な対向画像をどの程度生成できるか？
• RQ4 対向画像の品質、現実性、元の入力との類似性という観点から、既存手法と比較してLDCEはどのように差をつけるか？
• RQ5 LDCEの失敗モードは何か？ハイパーパrameterチューニングやアーキテクチャの改善によってそれらを緩和できるか？

主な発見

• LDCEは、分類器の勾配と拡散モデルの内蔵分類器のみを用いて、ImageNet、CelebA HQ、Oxford Pets、Oxford Flowers 102など多様なデータセットで、高品質で意味的に意味のある対向画像を成功裏に生成した。
• コンセンサスガイドランス機構は、敵対的勾配を効果的にフィルタリングし、不自然なアーティファクトや敵対的摂動の生成を防いだ。
• LDCEは、モデルおよびデータセットに依存しない対向画像生成を実現し、ターゲット分類器のファインチューニングも訓練データのアクセスも不要であった。
• 本手法は、計算コストの高いガイドランススキームや補助的頑健なモデルへの依存を顕著に低減し、より高速でスケーラブルな対向画像生成を可能にした。
• 複雑なシーンや複数のオブジェクトが存在する場合に、ぼやけた画像や歪んだ顔、ターゲットクラスからの大きな距離といった失敗モードが観察されたが、これらは主に基礎的拡散モデルの限界に起因するものであり、コアとなる手法の問題ではないとされた。
• ハイパーパrameterチューニング（例：分類器の強度を増加、距離の強度を減少）により、大きな距離の失敗は緩和可能であるが、元の入力からの逸脱が増加するという代償が伴う。

(b) no-smile $\rightarrow$ smile on CelebA HQ with DenseNet-121