[論文レビュー] Diffusion Causal Models for Counterfactual Estimation

Pedro L. Sánchez, Sotirios A. Tsaftaris|Edinburgh Research Explorer (University of Edinburgh)|Feb 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、逆拡散中に反原因予測子からの勾配を活用することで、高次元画像データにおける反事実推定を可能にする、拡散ベースの構造的因果モデルDiff-SCMを提案する。MNISTおよびImageNetにおいて、ベースラインと比較してより現実的で最小限の反事実を達成し、反事実潜在分散（CLD）と呼ばれる新規指標を用いて検証された。

ABSTRACT

We consider the task of counterfactual estimation from observational imaging data given a known causal structure. In particular, quantifying the causal effect of interventions for high-dimensional data with neural networks remains an open challenge. Herein we propose Diff-SCM, a deep structural causal model that builds on recent advances of generative energy-based models. In our setting, inference is performed by iteratively sampling gradients of the marginal and conditional distributions entailed by the causal model. Counterfactual estimation is achieved by firstly inferring latent variables with deterministic forward diffusion, then intervening on a reverse diffusion process using the gradients of an anti-causal predictor w.r.t the input. Furthermore, we propose a metric for evaluating the generated counterfactuals. We find that Diff-SCM produces more realistic and minimal counterfactuals than baselines on MNIST data and can also be applied to ImageNet data. Code is available https://github.com/vios-s/Diff-SCM.

研究の動機と目的

• 深層ニューラルネットワークを用いて高次元画像データにおける反事実推定の課題に取り組むこと。
• 生成的拡散モデルと構造的因果モデル（SCM）を統合した因果推論フレームワークを構築し、介入推定を可能にすること。
• 逆拡散中に反原因予測子からの勾配を活用することで、最小限で現実的な反事実の生成を可能にすること。
• 反事実の最小性と品質を評価するための新規指標、反事実潜在分散（CLD）を提案すること。
• MNISTおよびImageNetにおける定量的・定性的な評価を通じて、本手法の有効性を示すこと。

提案手法

• 観測データから潜在変数を推定するために決定論的前向き拡散プロセスを用い、潜在空間の操作を可能にする。
• 入力画像に関する反原因予測子の勾配を用いて、逆拡散プロセスにおける介入を実施する。
• ノイズ除去拡散モデル（DDPM）を用いて逆プロセスを学習し、ニューラルネットワークがデータ分布の対数尤度の勾配を近似する。
• 画像から結果（例：分類ラベル）を予測するように訓練された反原因予測子を統合し、その勾配が因果変数への介入を導く。
• 反復的に反事実を生成するために、介入勾配を伴う拡散プロセスをたどるマルコフ連鎖モンテカルロ（MCMC）サンプリングを採用する。
• 事実と反事実のサンプル間の潜在空間距離を、自然なデータ変動と比較して測定する新規指標CLD（Counterfactual Latent Divergence）を提案する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを構造的因果モデルと効果的に組み合わせることで、高次元画像データにおける現実的な反事実を生成できるか？
• RQ2 反原因予測子を用いて、逆拡散プロセス中に介入をガイドすることで、正確な反事実生成が可能か？
• RQ3 新規指標CLDは、既存のベースラインと比較して反事実の最小性と品質を効果的に評価できるか？
• RQ4 反事実品質を最適化するハイパーパramータ設定（例：スケールパramータ s）は何か？また、CLDはハイパーパramータチューニングにどのように利用できるか？
• RQ5 提案されたDiff-SCMフレームワークは、MNISTおよびImageNetにおいて、定量的指標と定性的な現実性の両面で最先端の手法を上回るか？

主な発見

• CLD指標を用いた検証により、MNISTにおいてベースライン手法と比較して、Diff-SCMはより現実的で最小限の反事実を生成した。
• 介入強度の最適スケールハイパーパramータ s は 0.7 であることが判明し、CLDに基づくハイパーパramータサーチにより、最小性と分類シフトのバランスが取れたことが確認された。
• CLD指標は、複数の評価基準においてベースラインを上回る最良のモデル構成を的確に同定した。
• 本手法はImageNet 256x256データに対しても一般化可能であり、意味的なクラス遷移を反映する妥当な反事実を生成した。
• 反原因予測子の勾配を用いることで、共変量が存在する状況下でも、明示的なグラフ破壊を必要とせず、効果的な介入が可能であった。
• 本フレームワークは、反事実生成分野で最先端のパフォーマンスを達成し、定性的な結果では一貫性があり意味的に意味のある画像変換が得られた。