[논문 리뷰] High Fidelity Image Counterfactuals with Probabilistic Causal Models

Fabio De Sousa Ribeiro, Tian Xia외 3명|arXiv (Cornell University)|2023. 06. 27.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 확률적 구조적 인과 모델을 사용하여 고해상도 이미지 역인과를 생성하는 딥 생성 인과 프레임워크를 제안한다. 이는 인과 중개 분석과 변분 추론을 기반으로 하며, 이미지 데이터에서 직접 효과, 간접 효과 및 총 효과를 정확하게 추정할 수 있도록 한다. 의료 영상 벤치마크에서 효과성 및 구성성 성질을 통해 충족되는 축약된 타당성을 입증한다.

ABSTRACT

We present a general causal generative modelling framework for accurate estimation of high fidelity image counterfactuals with deep structural causal models. Estimation of interventional and counterfactual queries for high-dimensional structured variables, such as images, remains a challenging task. We leverage ideas from causal mediation analysis and advances in generative modelling to design new deep causal mechanisms for structured variables in causal models. Our experiments demonstrate that our proposed mechanisms are capable of accurate abduction and estimation of direct, indirect and total effects as measured by axiomatic soundness of counterfactuals.

연구 동기 및 목표

• 의료 영상과 같은 고차원 구조적 데이터에 대해 정확하고 고해상도의 역인과 이미지를 추정하는 데 도전하는 데 목적을 둔다.
• 딥 생성 프레임워크 내에서 인과 중개 분석을 활용하여 이미지 변수에 대한 직접 효과, 간접 효과 및 총 효과를 추정할 수 있도록 하는 것.
• 역인과가 축약된 성질—효과성 및 구성성—을 충족하도록 보장하여 그 인과적 타당성을 검증하는 것.
• 의료 영상과 같은 안전이 중요한 분야에서 설명 가능성, 데이터 증강, 공정성 및 내성 강도 향상 응용을 지원하는 것.
• 펄의 인과의 계단 계층의 세 가지 러프—관련성, 간섭, 역인과 추론—을 모두 충족시켜 딥 러닝의 격차를 메우는 것.

제안 방법

• 이 프레임워크는 내생적 변수(예: 이미지)와 외생적 노이즈 변수를 갖는 마르코프 확률적 인과 모델을 사용하며, 방향성 비순환 그래프(DAGs)를 통해 구조화된다.
• 이미지 생성을 위한 변분 오토에인코더(HVAEs) 기반의 딥 인과 메커니즘을 도입하며, 구조적 할당과 함께 엔드 투 엔드로 훈련된다.
• 부모 예측기는 이미지 관측치에서 잠재적 특성을 추론하기 위해 MLP 또는 CNN를 사용하여 반인과 방향(자식에서 부모로)으로 훈련된다.
• 제약 최적화를 통해 라그랑주 형식을 사용하여 간섭 제약 조건을 강제로 유지하면서도 이미지의 해상도를 유지함으로써 역인과 생성을 달성한다.
• 추론 시에는 모델 파라미터의 지수 이동 평균을 사용하며, 훈련 중에 데이터 증강(임의의 컷, 플립)을 적용한다.
• 핵심 혁신은 역인과 훈련 및 평가를 위해 별도로 독립적으로 훈련된 반인과 예측기를 사용하여 단기 학습을 방지하는 것이다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 인과의 축약된 성질을 충족하는 고해상도 이미지 역인과를 생성할 수 있는가?
• RQ2 인과 중개 분석을 사용하여 이미지 수준의 변수에 대한 직접 효과, 간접 효과 및 총 효과를 얼마나 정확하게 추정할 수 있는가?
• RQ3 기존 방법에 비해 제안된 프레임워크가 역인과의 효과성 및 구성성 측면에서 얼마나 향상되었는가?
• RQ4 노이즈가 많은 의료 영상 설정에서 모델은 최소한의 비합리적 상관관계를 동반하면서도 신뢰할 수 있는 역인과를 생성할 수 있는가?
• RQ5 반인과 부모 예측기를 사용함으로써 역인과 훈련 중 단기 학습을 완화할 수 있는가?

주요 결과

• 제안된 프레임워크는 뇌 MRI 및 흉부 X-ray 데이터셋에서 고해상도의 역인과 생성을 달성했으며, 정성적 결과는 신뢰할 수 있는 이미지 편집을 나타낸다.
• 유럽 생물은행(UK Biobank) 데이터에서 성별 예측기는 ROCAUC 0.9764 ± 2e-3을 기록했고, MRI 예측기는 완벽한 ROCAUC 1.0을 기록하여 강력한 부모 특성 추론 능력을 보였다.
• 유럽 생물은행에서의 연령 예측기는 평균 절대 오차(MAE) 4.847 ± 7e-4년을 기록하여 정밀한 회귀 성능를 입증했다.
• 뇌 부피 및 뇌실 부피 예측기는 각각 MAE 26.77 ± 0.39 ml 및 1.958 ± 3e-2 ml를 기록하여 부피 추정에서 높은 정확도를 보였다.
• MIMIC-CXR에서 성별, 인종 및 질병 예측기는 각각 ROCAUC 0.9950, 0.7496, 0.9419를 기록하여 다양한 임상적 특성에서 강력한 성능을 보였다.
• 뇌 MRI에서의 역인과 훈련은 약 10,000 반복, 흉부 X-ray에서는 6,500 반복에서 수렴했으며, 라그랑주 형식을 사용한 최적화가 안정적이었다.