[논문 리뷰] On the Relationship Between Explanation and Prediction: A Causal View

Amir-Hossein Karimi, Krikamol Muandet외 3명|arXiv (Cornell University)|2022. 12. 13.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 인과적 추론을 사용하여 모델 설명(E)과 예측(Y) 간의 관계를 정량화하며, 높은 성능을 내는 모델에서 설명이 실제 예측보다는 하이퍼파라미터에 더 강하게 영향을 받는 경향이 있음을 밝혀냈다. 주요 발견은 높은 성능을 내는 모델에서 이상적일 때와 실제일 때의 E–Y 의존성 간 격차가 커지며, 이는 설명이 모델의 결정을 신뢰할 수 있게 반영하지 못할 수 있음을 시사한다.

ABSTRACT

Being able to provide explanations for a model's decision has become a central requirement for the development, deployment, and adoption of machine learning models. However, we are yet to understand what explanation methods can and cannot do. How do upstream factors such as data, model prediction, hyperparameters, and random initialization influence downstream explanations? While previous work raised concerns that explanations (E) may have little relationship with the prediction (Y), there is a lack of conclusive study to quantify this relationship. Our work borrows tools from causal inference to systematically assay this relationship. More specifically, we study the relationship between E and Y by measuring the treatment effect when intervening on their causal ancestors, i.e., on hyperparameters and inputs used to generate saliency-based Es or Ys. Our results suggest that the relationships between E and Y is far from ideal. In fact, the gap between 'ideal' case only increase in higher-performing models -- models that are likely to be deployed. Our work is a promising first step towards providing a quantitative measure of the relationship between E and Y, which could also inform the future development of methods for E with a quantitative metric.

연구 동기 및 목표

• 모델 설명(E)과 예측(Y) 간의 인과적 관계를 하이퍼파라미터와 데이터와 같은 상류 요인들을 고려해 체계적으로 조사하기.
• 설명(E)에 영향을 주는 요인 중에서 예측(Y)이 아니라 하이퍼파라미터(H)와 같은 다른 상류 요인들로부터 오는 影향의 비율을 정량화하기.
• 높은 성능을 내는 모델에서 설명 방법이 신뢰할 수 있는 모델 해석을 위해 요구되는 바와 같이 예측과 강력하고 신뢰할 수 있는 관계를 유지하는지 평가하기.
• 모델 예측과의 일치도를 기반으로 설명 방법의 품질을 평가하는 정량적이고 인과적인 지표를 제공하기.
• 설명이 하이퍼파라미터의 강한 간접적 영향으로 인해 오해의 소지가 생길 수 있는 상황을 밝혀내어 연구자와 향후 방법 개발에 정보를 제공하기.

제안 방법

• 연구는 인과적 추론에서 유래한 잠재적 결과 프레임워크를 사용하여 하이퍼파라미터(H)가 예측(Y)과 설명(E)에 미치는 치료 효과를 측정한다.
• 직접적인 H가 E에 미치는 영향과 Y를 통해 간접적으로 영향을 주는 경로를 분리하기 위해, H에 대한 반사적 간섭을 사용하여 인과 경로를 고립한다.
• 다양한 하이퍼파라미터를 가진 30,000개의 사전 학습된 모델을 다양한 데이터셋에서 학습하여 대규모 인과 평가를 수행한다.
• H의 변화가 E와 Y에 미치는 영향의 정도를 평가하며, E의 변동성 중 Y에 기인한 비율과 H에 직접 기인한 비율을 측정하는 지표를 계산한다.
• 실제로 H가 E와 Y에 미치는 영향을 이상화된 상황(모든 영향이 Y를 통해 흐르는 경우)과 비교하여 이상적 의존성에서의 편차를 정량화한다.
• 선택형 설명 방법(예: Grad-CAM, SmoothGrad)을 사용하며, 예측 변화 대비 하이퍼파라미터 변화에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 모델 설명(E)의 변동성이 예측(Y)의 영향을 받는 것보다 하이퍼파라미터(H)의 영향을 받는 정도는 어느 정도인가?
• RQ2 다양한 모델 성능 수준에서 하이퍼파라미터(H)가 설명(E)에 미치는 인과적 영향과 예측(Y)에 미치는 영향을 비교하면 어떻게 되는가?
• RQ3 높은 성능을 내는 모델에서 E와 Y의 관계는 악화되는가? 특히 설명이 가장 많이 사용될 가능성이 있는 상황에서 그렇다면?
• RQ4 특정 하이퍼파라미터 설정에서 다른 설명 방법들보다 E와 Y 사이의 인과적 연결이 더 강한 방법은 존재하는가?
• RQ5 예측과의 의미 있는 연결이 아니라 사기적 하이퍼파라미터 영향으로 인해 오염된 설명을 피하기 위해 정량적이고 인과적인 지표를 개발할 수 있는가?

주요 결과

• 설명(E)과 예측(Y) 간의 관계는 이상적으로는 매우 멀리 떨어져 있으며, 하이퍼파라미터(H)가 E에 직접적으로 상당한 영향을 미치며, 이는 Y를 통해 미치는 영향을 초월한다.
• 가장 높은 성능을 내는 모델들—즉, 실제 적용 가능성이 가장 높은 모델들—에서는 이상적 케이스(모든 E의 의존성이 Y에만 기반)와 실제 케이스(직접 H가 E에 영향) 사이의 격차가 크게 증가한다.
• Grad-CAM 및 SmoothGrad와 같은 방법들에 대해서는 하이퍼파라미터가 E에 미치는 직접적 영향이 Y를 통해 간접적으로 미치는 영향보다 훨씬 크며, 이는 E가 Y를 신뢰할 수 있게 반영하지 못하고 있음을 시사한다.
• 어떤 경우에는 H가 E에 미치는 영향이 Y에 미치는 영향보다 더 강력한 것으로 나타났으며, 이는 설명이 주로 예측에 의해 결정되어야 한다는 기대와 배치된다.
• 결과적으로 높은 성능을 내는 모델의 설명은 실제 모델 결정보다는 하이퍼파라미터 설정에 더 반영된 것으로 보이며, 이는 실제 적용 시 신뢰성에 대한 우려를 제기한다.
• 인과적 프레임워크는 어떤 설명 방법도 항상 E–Y 관계를 강하게 유지하는 데서 뛰어나지 않음을 드러내었으며, 이는 이전에 시각적 유사성 검증(예: 훈련된 모델과 미훈련 모델 간 유사성)을 통과한 방법들조차도 그러한 성능을 보장하지 못한다는 것을 의미한다.