[논문 리뷰] Carefully choose the baseline: Lessons learned from applying XAI attribution methods for regression tasks in geoscience

Antonios Mamalakis, Elizabeth A. Barnes외 1명|arXiv (Cornell University)|2022. 08. 19.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 지구과학 분야의 회귀 과제에서 XAI 기반 방법의 기준선 선택이 설명 가능성에 미치는 영향이 크다는 것을 입증한다. 특히 기후 변수의 신경망 예측에서 그렇다. 전체 연결 신경망을 사용해 지역 기후 지도에서 세계 평균 기온을 예측하는 연구에서, 저자들은 다양한 기준선이 상당히 다른 특성 기여도를 초래하며, 각각 다른 과학적 질문에 답한다는 것을 보여주며, 연구 맥락에 따라 의도적인 기준선 선택이 필요하다고 강조한다.

ABSTRACT

Methods of eXplainable Artificial Intelligence (XAI) are used in geoscientific applications to gain insights into the decision-making strategy of Neural Networks (NNs) highlighting which features in the input contribute the most to a NN prediction. Here, we discuss our lesson learned that the task of attributing a prediction to the input does not have a single solution. Instead, the attribution results and their interpretation depend greatly on the considered baseline (sometimes referred to as reference point) that the XAI method utilizes; a fact that has been overlooked so far in the literature. This baseline can be chosen by the user or it is set by construction in the method s algorithm, often without the user being aware of that choice. We highlight that different baselines can lead to different insights for different science questions and, thus, should be chosen accordingly. To illustrate the impact of the baseline, we use a large ensemble of historical and future climate simulations forced with the SSP3-7.0 scenario and train a fully connected NN to predict the ensemble- and global-mean temperature (i.e., the forced global warming signal) given an annual temperature map from an individual ensemble member. We then use various XAI methods and different baselines to attribute the network predictions to the input. We show that attributions differ substantially when considering different baselines, as they correspond to answering different science questions. We conclude by discussing some important implications and considerations about the use of baselines in XAI research.

연구 동기 및 목표

• 지구과학 분야의 회귀 과제에서 기준선 선택이 XAI 기반 기여도 방법의 해석 가능성에 미치는 영향을 조사하는 것.
• 다양한 기준선이 서로 다른 과학적 질문에 대응함으로써 기여도 분석에서 도출되는 통찰력에 영향을 미친다는 것을 입증하는 것.
• 특히 기후 모델링 적용 분야에서 XAI 방법에서 기준선의 핵심적 역할에 대한 문헌에서의 무관심을 부각하는 것.
• 대규모 기후 시뮬레이션 앙상블을 통해 기여도 결과가 기준선 선택에 따라 상당히 다름을 실증적으로 제시하는 것.
• 연구자가 해결하고자 하는 특정 과학적 질문에 따라 적절한 기준선을 선택할 수 있도록 안내하는 것.

제안 방법

• 연구는 SSP3-7.0 시나리오 하에서 기후 시뮬레이션에서 유도된 연간 기온 지도로부터 세계 평균 기온을 예측하도록 훈련된 완전 연결 신경망을 사용한다.
• 다양한 XAI 기여도 방법(예: 통합 기울기, Grad-CAM, LRP)을 훈련된 모델에 적용하며, 각 방법은 서로 다른 기준선 입력을 사용한다.
• 기준선로는 영 텐서, 평균 기후 상태, 역사적 기후 조건이 포함되며, 각각 기여도에 대한 서로 다른 기준점 역할을 한다.
• 기여도는 입력과 기준선 간의 모델 출력 차이로 계산되며, 방법에 따라 기준선에서 입력까지의 경로를 따라 기울기를 통합하는 방식이 다르다.
• 기여도 지도를 분석하여 기준선 선택이 특성 중요도의 공간적 패턴과 크기에 어떻게 영향을 미치는지 평가한다.
• 연구 결과의 강건성과 일반화 가능성을 확보하기 위해 대규모 역사적 및 향후 기후 시뮬레이션 앙상블을 사용한다.

실험 결과

연구 질문

• RQ1 지구과학 응용 분야의 회귀 과제에서 XAI 기여도 방법의 기준선 선택이 결과 기여도 지도에 어떤 영향을 미치는가?
• RQ2 다른 기준선이 동일한 신경망 예측에 대해 과학적으로 어떻게 다른 해석을 이끌어내는가?
• RQ3 동일한 모델과 입력에 대해 같은 XAI 방법을 사용하더라도 기준선에 따라 근본적으로 다른 통찰을 도출할 수 있는가?
• RQ4 기후 과학에서 기본 또는 고려되지 않은 기준선을 사용할 경우, 강제 기후 신호를 해석하는 데 어떤 영향을 미치는가?
• RQ5 연구자가 의도한 과학적 질문과 일치하도록 XAI 결과를 확보하기 위해 어떻게 적절한 기준선을 선택해야 하는가?

주요 결과

• 동일한 XAI 방법과 모델을 사용하더라도 다양한 기준선이 상당히 다른 기여도 지도를 생성함을 보여주며, 기준선 명시 없이 기여도가 고유하거나 객관적인 측정이 되지 않음을 시사한다.
• 영 기준선에서 기후 평균 또는 역사적 기준선으로 전환할 경우 기여도 패턴이 상당히 변화하며, 이는 특성 중요도에 대한 과학적 해석이 다르다는 것을 반영한다.
• 기후 시스템의 물리적 현실을 반영하는 기준선(예: 역사적 평균)을 사용할 경우, 영과 같은 임의의 선택보다 더 해석 가능하고 과학적으로 의미 있는 기여도를 도출할 수 있다.
• 기준선 선택은 실제로 질문의 유형을 변화시킨다: 예를 들어, '무엇이 영에서 벗어나는가?' vs. '무엇이 평균 상태에서 벗어나는가?'.
• 많은 XAI 응용 사례에서 기준선 선택이 검토되지 않거나 기본 설정을 사용함으로써 모델 행동을 잘못 해석하고 있을 수 있음을 연구가 드러냈다.
• 저자들은 기준선 선택이 의도적이며 맥락에 따라 달라져야 하며, 어떤 기준선도 항상 최적은 아니라는 결론을 내린다.