[논문 리뷰] Explaining Visual Models by Causal Attribution

Álvaro Parafita, Jordi Vitrià|arXiv (Cornell University)|2019. 09. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 11

한 줄 요약

이 논문은 간섭된 원인 모델을 통해 반사적 이미지를 생성함으로써 시각적 모델 예측을 설명하기 위한 원인 인과적 기여도 방법을 제안한다. 이는 특징의 영향을 신뢰할 수 있게 추정할 수 있도록 한다. 연구에서는 관찰적 내삽보다 원인 인과적 간섭이 모델 결정의 진정한 원인을 규명할 수 있음을 입증하며, 3D Shapes 데이터셋에서 바닥 색조가 잘못 분류의 원인임을 보여준다.

ABSTRACT

Model explanations based on pure observational data cannot compute the effects of features reliably, due to their inability to estimate how each factor alteration could affect the rest. We argue that explanations should be based on the causal model of the data and the derived intervened causal models, that represent the data distribution subject to interventions. With these models, we can compute counterfactuals, new samples that will inform us how the model reacts to feature changes on our input. We propose a novel explanation methodology based on Causal Counterfactuals and identify the limitations of current Image Generative Models in their application to counterfactual creation.

연구 동기 및 목표

• 픽셀 수준의 기여도에 기반하고 의미론적 기반 없이 의존하는 색소맵 및 사후 설명의 한계를 해결하기 위해.
• 잠재 요인(예: 머리카락 색상 또는 얼굴 털)이 분류기 출력에 미치는 원인적 영향을 추정함으로써 모델 예측을 설명하는 방법을 개발하기 위해.
• 임의의 이미지 변형에 의존하는 것 대신 의미 있는 잠재 요인에 대한 간섭을 시뮬레이션하여 모델 예측의 편향을 식별하고 수정하기 위해.
• 반사적 설명이 원인적 구조에 기반하여, 생성된 반사적 이미지가 실제 간섭된 데이터 분포를 반영하도록 보장하는 프레임워크를 구축하기 위해.

제안 방법

• 이미지 데이터의 잠재 요인의 공동 분포를 모델링하기 위해 분포 기반 원인 그래프(DCG)를 구축하며, 노드는 종류, 형태, 색조, 척도와 같은 변수를 나타낸다.
• 백프로파게이션과 로그우도 추정을 가능하게 하기 위해 이산형 분포(Bernoulli, Categorical, Truncated Normal)를 사용하여 미분 가능한 분포를 적용한다.
• 특정 잠재 요인(예: 바닥 색조 변경)에 간섭을 적용하여 관찰 데이터에서가 아니라 간섭된 원인 모델에서 새로운 반사적 샘플을 생성한다.
• 반사적 이미지 생성기를 사용하여 간섭된 잠재 요인에서 이미지를 합성함으로써, 후속 영향이 원인적 의존성과 일치하도록 보장한다.
• 각 간섭에 대해 여러 반사적 샘플의 분류기 로짓을 계산하여 평균 예측 이동과 신뢰구간을 추정한다.
• 3D Shapes 데이터셋에서 방법을 검증하여 생성된 분포를 실제 데이터와 비교하고, 가시화된 로짓을 통해 간섭 효과를 분석한다.

실험 결과

연구 질문

• RQ1 관측된 원인 모델에서 유도된 원인 반사적 이미지가 색소맵이나 기울기 기반 방법보다 더 신뢰할 수 있고 의미론적으로 더 유의미한 설명을 제공할 수 있는가?
• RQ2 잠재 요인(예: 바닥 색조)에 대한 간섭이 특정 이미지에 대한 분류기의 예측에 어떤 영향을 미치며, 이는 잘못된 분류의 원인을 규명하는 데 사용될 수 있는가?
• RQ3 현재의 이미지 생성기가 데이터의 원인적 의존성을 존중하는 유효한 반사적 이미지를 생성하는 데 있어 어떤 한계를 지니는가?
• RQ4 분포 기반 원인 그래프가 비선형성 또는 순환 성질을 지닌 잠재 요인(예: 색조)이 있는 실세계 데이터 분포를 얼마나 정확하게 모델링할 수 있는가?
• RQ5 원인 기여도 방법이 빛의 강도가 [0.4, 0.6]로 제약되어 있지만 명시적으로 모델링되지 않은 경우와 같이 진정한 원인 요인과 우연한 상관관계를 구별할 수 있는가?

주요 결과

• 메서드는 3D Shapes 이미지에서 바닥 색조가 [0.2, 0.4] 범위에 있을 때 잘못 분류의 주요 원인임을 성공적으로 규명하였으며, 이를 [0.6, 0.9]로 이동시키는 간섭을 통해 정확한 예측으로 복구됨을 보여주었다.
• DCG는 베르누이 및 다항분포 변수(예: 종류, 형태)를 정확하게 모델링하며, 파라미터가 실제 데이터 분포와 매우 유사하게 나타났다.
• 연속형 변수인 밝기와 척도는 합리적으로 잘 근사되었지만, 분포에 묵시적으로 포함된 제약 조건이 모델링되지 않아 밝기의 경우 정확도가 떨어졌다.
• 색조는 순환적 성질과 이산 샘플링으로 인해 가장 잘 모델링되지 않아, 더 나은 성능을 위해 바이어시 분포와 같은 특수 분포가 필요함을 시사한다.
• 간섭된 원인 모델에서 유도된 반사적 이미지는 의미 있는 예측 이동을 생성하지만, 비원인적 생성기는 진정한 원인적 영향을 반영하지 못한다.
• 진정한 원인 요인(바닥 색조)에 대한 간섭만이 정확한 예측으로 이어지며, 이는 비원인적 상관관계에 비해 원인적 설명의 타당성을 검증한다.