[논문 리뷰] IROF: a low resource evaluation metric for explanation methods

Laura Rieger, Lars Kai Hansen|arXiv (Cornell University)|2020. 03. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 9

한 줄 요약

IROF는 이미지의 관련성에 따라 영역을 제거함으로써 모델의 신뢰도가 얼마나 떨어지는지 측정하는 경량이며 자동화된 평가 지표로, 기계학습에서 설명 방법을 평가하는 데 사용된다. 이는 최소한의 계산 비용으로 인간 평가 없이도 효율적으로 평가할 수 있으며, 모델 정확도와 해석 가능성 사이의 트레이드오프를 드러내며, 자원이 제한된 환경에서 이전 방법들보다 더 뛰어난 내성적 안정성과 확장성을 보인다.

ABSTRACT

The adoption of machine learning in health care hinges on the transparency of the used algorithms, necessitating the need for explanation methods. However, despite a growing literature on explaining neural networks, no consensus has been reached on how to evaluate those explanation methods. We propose IROF, a new approach to evaluating explanation methods that circumvents the need for manual evaluation. Compared to other recent work, our approach requires several orders of magnitude less computational resources and no human input, making it accessible to lower resource groups and robust to human bias.

연구 동기 및 목표

• 기계학습에서 설명 방법에 대한 신뢰할 수 있고 확장 가능한 평가 지표의 부족을 해결하기 위해.
• 비용이 많이 들고 편향이 있으며 자원이 제한된 환경에서는 실용적이지 않은 인간 평가에 의존하는 것을 제거하기 위해.
• 모델 추론과 이미지 세그멘테이션만을 사용하여 설명 품질을 평가하는 계산적으로 효율적인 지표를 개발하기 위해.
• 특히 저소득 및 중소득 국가에서의 의료 영상 작업에서 딥 러닝 모델의 해석 가능성 평가를 위해.
• 다양한 아키텍처와 데이터셋 간에 설명 방법을 비교할 수 있는 정량적이고 객관적인 기준을 제공하기 위해.

제안 방법

• IROF는 전통적인 이미지 세그멘테이션을 사용하여 입력 이미지를 유의미한 세그먼트로 분할하여 픽셀 간 상관관계를 감소시킨다.
• 주어진 설명 방법에 기반해 각 세그먼트의 평균 관련성을 계산하고, 관련성의 높은 순서에서 낮은 순서로 세그먼트를 정렬한다.
• 가장 관련성이 높은 세그먼트부터 순차적으로 제거하며, 이는 해당 세그먼트의 픽셀 값을 전체 데이터셋 평균으로 대체함으로써 수행된다.
• 각 제거 단계 이후 모델의 클래스 점수를 기록하여, 세그먼트 제거에 따른 신뢰도 저하 곡선을 형성한다.
• IROF 점수는 이 곡선의 정규화된 적분으로 계산되며, 제거된 각 세그먼트당 총 신뢰도 감소를 나타낸다.
• 이 방법은 ImageNet과 피부 병변 분류를 위한 ISIC를 포함한 여러 모델과 데이터셋에 적용되었다.

실험 결과

연구 질문

• RQ1 인간의 애너테이션이나 비용이 많이 드는 재학습이 필요 없이 설명 방법을 평가할 수 있는가?
• RQ2 IROF의 계산 비용은 기존의 ROAR와 비교해 어떻게 되는가?
• RQ3 다양한 데이터셋과 아키텍처에서 설명 방법의 순위가 일관한가?
• RQ4 IROF로 측정했을 때 모델 정확도와 해석 가능성 사이에 트레이드오프가 존재하는가?
• RQ5 다양한 설명 방법은 의료 영상 작업, 특히 피부암 분류에서 얼마나 잘 작동하는가?

주요 결과

• IROF는 ROAR에 비해 계산 비용이 수 개의 주기 차이로 훨씬 낮아 자원이 제한된 연구 팀에게도 적용 가능하다.
• LIME를 제외한 모든 설명 방법은 ImageNet에서 무작위 기준 및 Sobel 에지 검출기보다 높은 성능을 보였으며, 의미 있는 특징을 포착하고 있음을 시사한다.
• 모델 정확도와 IROF 점수 사이에 강한 반비례 상관관계가 발견되었는데, 정확도가 높은 모델일수록 해석 가능성은 낮았다.
• SmoothGrad와 GradCAM은 ISIC를 포함한 여러 아키텍처와 데이터셋에서 일관되게 상위 순위를 차지하여 의료 응용 분야에서 뛰어난 신뢰성을 보였다.
• ISIC 데이터셋에서는 IROF 점수가 ImageNet보다 상당히 낮게 나타나, 피부 병변 진단은 자연 이미지 분류보다 본질적으로 더 해석하기 어려운 것으로 나타났다.
• ImageNet과 ISIC 간에 설명 방법의 순위가 일관되게 유지되었으며, 이는 IROF가 데이터셋 특유의 특징이 아닌 방법의 내재적 성질을 캐치하고 있음을 시사한다.