[論文レビュー] Benchmarking Counterfactual Image Generation

Θωμάς Μελίστας, N. M. Spyrou+6 more|arXiv (Cornell University)|Mar 29, 2024

Computer Graphics and Visualization Techniques被引用数 5

ひとこと要約

本論文は、反事実的画像生成の標準化された評価を構造的因果モデル（SCMs）下で行う包括的なベンチマークフレームワークを導入し、MorphoMNIST と CelebA を対象に realism、minimality、composition、and effectiveness の指標で VAE、HVAE、GAN ファミリを比較します。結果は、Deep-SCM ベースの階層的変分アプローチ（HVAE）が一般的に他のモデルを各指標で上回ることを示しています。

ABSTRACT

Generative AI has revolutionised visual content editing, empowering users to effortlessly modify images and videos. However, not all edits are equal. To perform realistic edits in domains such as natural image or medical imaging, modifications must respect causal relationships inherent to the data generation process. Such image editing falls into the counterfactual image generation regime. Evaluating counterfactual image generation is substantially complex: not only it lacks observable ground truths, but also requires adherence to causal constraints. Although several counterfactual image generation methods and evaluation metrics exist, a comprehensive comparison within a unified setting is lacking. We present a comparison framework to thoroughly benchmark counterfactual image generation methods. We integrate all models that have been used for the task at hand and expand them to novel datasets and causal graphs, demonstrating the superiority of Hierarchical VAEs across most datasets and metrics. Our framework is implemented in a user-friendly Python package that can be extended to incorporate additional SCMs, causal methods, generative models, and datasets for the community to build on. Code: https://github.com/gulnazaki/counterfactual-benchmark.

研究の動機と目的

• SCM（構造因果モデル）下での反事実的画像生成の標準化された評価の必要性を喚起する。
• SCM ベースの反事実のための包括的で拡張可能なベンチマークフレームワークと Python パッケージを提案する。
• Abduction-Action-Prediction パラダイムの下で、3つのモデルファミリ（正規化フロー、VAEs/HVAE、GAN）を系統的に比較する。
• 公理的な構成、有効性、可逆性に加え、現実性と最小性を不可欠な評価基準として主張する。

提案手法

• 反事実推論のために Pearlian SCMs を Abduction-Action-Prediction とともに採用する。
• Deep-SCM フレームワーク内で、3つの可逆メカニズムファミリ（条件付き正規化フロー、条件付き VAE/HVAE、条件付き GAN）を比較する。
• 高次元の画像変数と低次元属性をともにモデル化するために、エンドツーエンドで可逆またはアモルタイズドなメカニズムを用いる。
• 公理（構成、効果、可逆性）に着想を得た評価指標に、現実性（FID）と最小性（CLDベース）を加えた反事実の評価指標を活用する。
• 事前定義された因果グラフを用いて MorphoMNIST (32x32) および CelebA (64x64) に標準化評価プロトコルを適用する。
• 追加の SCM、モデル、データセットへの拡張を容易にする Python パッケージを提供する。

実験結果

リサーチクエスチョン

• RQ1 SCMs の下で真の答えがない設定における反事実的画像生成はどのように評価できるか？
• RQ2 さまざまなデータセットで、どのモデルファミリ（NFベース、VAE/HVAE、GAN） が正確で現実的かつ最小の反事実を最もよくサポートするか？
• RQ3 現実性と最小性の指標は、画像編集を評価する際に反事実の従来の公理と一致するか？
• RQ4 Deep-SCM ベースの HVAE は構成、効果、現実性の点で他のアプローチとどのように比較されるか？

主な発見

• HVAE（高度に階層的な VAE）は、指標とデータセットを問わず一貫して最良の構成と最小歪みを達成する。
• HVAE は MorphoMNIST と CelebA で、構成（l1 画像、l1 埋め込み、LPIPS）と現実性（FID）において VAE および GAN ファミリを上回る。
• 条件付けとサイクル学習は反事実の忠実度を向上させ、HVAE および微調整された HVAE が介入属性の予測において最も強い有効性を示す。
• GAN は HVAE と比較して多サイクルの構成と現実性が劣り、特に CelebA では最小性と FID が HVAE に遅れをとる。
• 現実性と最小性の指標は HVAE ベースの反事実において元のディテールの定性的な保存と相関し、VAE はぼかしを、GAN は繰り返し編集でコンテンツを歪める傾向がある。