[논문 리뷰] Resisting Out-of-Distribution Data Problem in Perturbation of XAI

Luyu Qiu, Yi Yang외 6명|arXiv (Cornell University)|2021. 07. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 56인용 수 4

한 줄 요약

이 논문은 편차 기반 XAI 방법에서 일관되지 않은 편차 샘플로 인해 발생하는 과신뢰 문제를 완화하기 위해 OoD(Out-of-Distribution) 블록을 제안한다. 각 편차 샘플의 내부자 점수를 정량화하고 설명 집계에 통합함으로써, RISE, OCCLUSION, LIME에서 신뢰성과 신뢰도를 향상시킨다. 특히 열악한 조건에서 계산적 및 인지적 지표에서 뚜렷한 향상이 이루어진다.

ABSTRACT

With the rapid development of eXplainable Artificial Intelligence (XAI), perturbation-based XAI algorithms have become quite popular due to their effectiveness and ease of implementation. The vast majority of perturbation-based XAI techniques face the challenge of Out-of-Distribution (OoD) data -- an artifact of randomly perturbed data becoming inconsistent with the original dataset. OoD data leads to the over-confidence problem in model predictions, making the existing XAI approaches unreliable. To our best knowledge, the OoD data problem in perturbation-based XAI algorithms has not been adequately addressed in the literature. In this work, we address this OoD data problem by designing an additional module quantifying the affinity between the perturbed data and the original dataset distribution, which is integrated into the process of aggregation. Our solution is shown to be compatible with the most popular perturbation-based XAI algorithms, such as RISE, OCCLUSION, and LIME. Experiments have confirmed that our methods demonstrate a significant improvement in general cases using both computational and cognitive metrics. Especially in the case of degradation, our proposed approach demonstrates outstanding performance comparing to baselines. Besides, our solution also resolves a fundamental problem with the faithfulness indicator, a commonly used evaluation metric of XAI algorithms that appears to be sensitive to the OoD issue.

연구 동기 및 목표

• 편차 기반 XAI에서 발생하는 외부 분포(OoD) 데이터 문제를 해결하여 과신뢰적이고 신뢰할 수 없는 설명을 방지한다.
• 임의의 편차로 인한 OoD 아티팩트가 XAI 방법과 평가 지표의 충실도를 해칠 수 있음을 규명한다.
• RISE, OCCLUSION, LIME와 같은 인기 있는 XAI 알고리즘과 호환되는 일반화 가능한 솔루션을 개발하여 설명의 신뢰도를 향상시킨다.
• OoD 샘플에 민감한 기존 충실도 지표의 근본적 편향을 제거하기 위해 내부자 점수를 통합함으로써 충실도 지표를 개선한다.
• 다양한 데이터셋과 모델에서 계산적 지표와 인간 평가를 통해 성능 향상을 입증한다.

제안 방법

• 각 편차 샘플의 원래 데이터 분포에 속할 가능성을 추정하는 '내부자 점수'를 계산하기 위해 이상 탐지 기법을 기반으로 한 OoD 블록을 설계한다.
• 내부자 점수를 설명 집계 과정에 통합하여 OoD 샘플의 예측을 가중치를 낮춰 과신뢰를 감소시킨다.
• RISE, OCCLUSION, LIME와 같은 세 가지 주요 편차 기반 XAI 방법에 OoD 블록을 적용하여 향상된 버전인 $RISE^{+}$, $OCCLUSION^{+}$, $LIME^{+}$를 도출한다.
• 선택적 열매맵 생성 과정에서 내부자 점수를 가중치 요소로 활용하여, 분포적으로 일관된 편차 샘플만 최종 설명에 크게 기여하도록 보장한다.
• 내부자 점수를 통합하여 충실도 지표를 개선함으로써 OoD 샘플로 인한 편향을 제거하여 더 신뢰할 수 있는 평가 지표를 생성한다.
• 사전 학습된 모델과 통계 분석을 활용하여 OoD 블록의 강건성과 일반화 능력을 다양한 데이터셋과 아키텍처에서 검증한다.

실험 결과

연구 질문

• RQ1 편차 기반 XAI 방법에서 OoD 데이터의 존재가 모델의 자신감과 설명의 충실도에 어떤 영향을 미치는가?
• RQ2 내부자 점수 메커니즘이 편차 기반 XAI에서 OoD 샘플의 영향을 효과적으로 식별하고 완화할 수 있는가?
• RQ3 향상된 XAI 방법($RISE^{+}$, $OCCLUSION^{+}$, $LIME^{+}$)이 계산적 및 인지적 평가 지표에서 기준 대비 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 OoD 인식 충실도 지표가 OoD 샘플이 존재할 경우 기존 충실도 지표에 존재하는 편향을 제거하는가?
• RQ5 OoD 블록은 분포 이탈 또는 모델 열악한 상황에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 $RISE^{+}$, $OCCLUSION^{+}$, $LIME^{+}$ 방법은 설명 품질을 크게 향상시켰으며, ResNet50를 사용한 ImageNet에서 $OCCLUSION^{+}$가 국소화 성능을 37.35% 향상시켰다.
• VGG16를 사용한 VOC 데이터셋에서 $OCCLUSION^{+}$는 기준 OCCLUSION 대비 국소화 성능을 62.49% 향상시켜 다중 객체 시나리오에서 뛰어난 성능을 보였다.
• 사용자 연구 결과, $OCCLUSION^{+}$와 $LIME^{+}$는 기준 대비 설명의 질, 사용자 만족도, 호기심, 신뢰도, 이해도에서 일관되게 높은 평가를 받았으며, 효과 크기는 d = 1.15에서 d = 2.01까지 다양했다.
• 모델가 스트레스를 받는 열악한 상황에서 OoD 블록은 과신뢰를 감소시켜 $RISE^{+}$가 RISE보다 더 신뢰할 수 있는 열매맵을 생성했다.
• 내부자 점수에 기반한 향상된 충실도 지표는 OoD 아티팩트에 대한 민감도가 감소하여 기존 충실도 평가의 근본적 결함을 해결했다.
• 이 방법은 ImageNet, VOC와 같은 다양한 데이터셋과 ResNet50, VGG16 등의 모델에서 일관된 성능 향상을 보이며 일반화 가능성과 강건성을 확인했다.