[논문 리뷰] Visual Disentangled Diffusion Autoencoders: Scalable Counterfactual Generation for Foundation Models

Sidney Bender, Marco Morik|arXiv (Cornell University)|2026. 01. 29.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

DiDAE는 frozen foundation 모델을 해제된 사전(dictionary)로 포장하는 그래디언트-프리 프레임워크로, 대규모로 다양한 의미적으로 해제된 반사실(counterfactuals)을 생성하여 CFKD 기반의 오염된 상관관계 수정의 효과를 가능하게 한다.

ABSTRACT

Foundation models, despite their robust zero-shot capabilities, remain vulnerable to spurious correlations and 'Clever Hans' strategies. Existing mitigation methods often rely on unavailable group labels or computationally expensive gradient-based adversarial optimization. To address these limitations, we propose Visual Disentangled Diffusion Autoencoders (DiDAE), a novel framework integrating frozen foundation models with disentangled dictionary learning for efficient, gradient-free counterfactual generation directly for the foundation model. DiDAE first edits foundation model embeddings in interpretable disentangled directions of the disentangled dictionary and then decodes them via a diffusion autoencoder. This allows the generation of multiple diverse, disentangled counterfactuals for each factual, much faster than existing baselines, which generate single entangled counterfactuals. When paired with Counterfactual Knowledge Distillation, DiDAE-CFKD achieves state-of-the-art performance in mitigating shortcut learning, improving downstream performance on unbalanced datasets.

연구 동기 및 목표

• 기본 모델에서 레이블이 있는 그룹이나 그래디언트 기반 최적화 없이 오염된 상관관계와 Clever Hans 전략을 동기 부여하고 다루는 것.
• 고유한 의미 방향으로 기본 모델 임베딩을 해석 가능한 disentangled 방향으로 분리하기 위해 DiDAE를 제안하여 빠르고 해석 가능한 반사실 편집을 가능하게 하는 것.
• DiDAE-CFKD를 통한 대규모 기본 모델의 보정과 불균형 데이터에서의 하류 성능 개선을 시연하는 것.
• 경사 없는 생성이 베이스라인에 비해 속도와 품질 면에서 경쟁력 있거나 우수함을 보여주는 것.

제안 방법

• 학습된 해석 가능한 disentangled dictionary로 frozen foundation 인코더를 포장하여 임베딩을 의미 방향으로 분해한다.
• 해석 가능한 disentangled 방향으로의 섭동을 통해 임베딩을 편집한 뒤, 확산 오토인코더로 단일 순전파 단계에서 재디코딩한다.
• 두 가지 그래디언트-프리 반사실 알고리즘을 제공한다: 잠재 공간에서의 구성요소 반사(component reflection)와 증류된 결정 경계 반전(distilled decision boundary inversion)이다.
• 스케일링 가능성을 위한 프리클러스터링된 교사(teacher)를 사용하여 Projection 및 Counterfactual Knowledge Distillation(CFKD)을 적용해 오염된 상관관계를 완화한다.
• Poisoned 학습 분포를 가진 Synthetic Square 및 CelebA 데이터셋에 걸쳐 NAFR, Gain, 그리고 반사실 생성 속도를 측정한다.

실험 결과

연구 질문

• RQ1 그래디언트-프리, 의미적으로 disentangled 반사실을 파인튜닝 없이 기본 모델에 대해 효율적으로 생성할 수 있는가?
• RQ2 해석 가능한 방향이 그래디언트 기반 베이스라인을 능가하는 확장 가능한 CFKD를 가능하게 하여 지름길 학습(shortcut learning)을 완화하는가?
• RQ3 DiDAE 유도 반사실이 하류 로버스트니스와 대표 집단 평균 성능에 오염된 상관관계 하에서 어떤 영향을 미치는가?

주요 결과

• DiDAE는 그래디언트 기반 베이스라인 대비 반사실 생성 속도를 비교해 주문-크기 규모의 속도향상을 달성한다(예: 초당 최대 ~64개의 반사실).
• DiDAE-CFKD는 Square와 CelebA 벤치마크에서 평균 그룹 정확도 최댓값에 도달해 GroupDRO, DFR, P-ClArC, RR-ClArC를 능가한다.
• 프로젝션 기반 보정 및 CFKD 보강은 기본 모델 프로빙에서 로버스트니스를 향상시키며, 많은 설정에서 CFKD가 더 큰 이득을 제공한다.
• Procrustes 또는 SVD를 통해 식별된 해석 가능한 속성에 정렬된 disentangled 구성요소가 제어 가능한 의미적 반사실 편집을 가능하게 한다.
• DiDAE는 비대립(Non-adversarial) 플립 비율(NAFR)을 유지하면서도 하류 작업에서 훨씬 큰 이득을 제공한다.