[논문 리뷰] Data Representing Ground-Truth Explanations to Evaluate XAI Methods

Shideh Shams Amiri, Rosina O. Weber외 5명|arXiv (Cornell University)|2020. 11. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 5

한 줄 요약

이 논문은 신경망 분류 작업에서 특성 중요도를 정의하는 표준 방정식을 사용하여 XAI 방법 평가를 위한 근본적 설명(ground-truth explanations, GTEs)을 나타내는 합성 데이터를 생성하는 새로운 방법론을 제안한다. 세 가지 벤치마크 데이터셋을 구축하고 LIME을 이러한 GTEs와 비교하여 평가함으로써, 기존 XAI 평가가 일관성과 책임감이 부족하다는 점을 입증하고, GTE 기반 평가가 LIME의 편향 샘플링에 대한 민감성과 같은 방법론적 결함를 드러낼 수 있음을 보여주며, 더 엄격하고 재현 가능하며 책임감 있는 XAI 연구를 가능하게 한다.

ABSTRACT

Explainable artificial intelligence (XAI) methods are currently evaluated with approaches mostly originated in interpretable machine learning (IML) research that focus on understanding models such as comparison against existing attribution approaches, sensitivity analyses, gold set of features, axioms, or through demonstration of images. There are problems with these methods such as that they do not indicate where current XAI approaches fail to guide investigations towards consistent progress of the field. They do not measure accuracy in support of accountable decisions, and it is practically impossible to determine whether one XAI method is better than the other or what the weaknesses of existing models are, leaving researchers without guidance on which research questions will advance the field. Other fields usually utilize ground-truth data and create benchmarks. Data representing ground-truth explanations is not typically used in XAI or IML. One reason is that explanations are subjective, in the sense that an explanation that satisfies one user may not satisfy another. To overcome these problems, we propose to represent explanations with canonical equations that can be used to evaluate the accuracy of XAI methods. The contributions of this paper include a methodology to create synthetic data representing ground-truth explanations, three data sets, an evaluation of LIME using these data sets, and a preliminary analysis of the challenges and potential benefits in using these data to evaluate existing XAI approaches. Evaluation methods based on human-centric studies are outside the scope of this paper.

연구 동기 및 목표

• 근본적 설명(GTE)을 나타내는 데이터를 도입하여 XAI 분야에서의 일관성 있고 책임감 있는 평가 부족 문제를 해결하기 위해.
• 사람의 연구, 공리, 히우리스틱 메트릭에 의존하는 기존 XAI 평가 방법의 한계를 극복하기 위해, 설명 정확도를 측정하거나 방법론적 진전을 이끌어내는 데 실패하는 바람에.
• 알려진 특성 중요도를 갖춘 합성 데이터를 사용하여 검증 가능하고 재현 가능한 벤치마킹 프레임워크를 구축하여 XAI 방법 간 객관적인 비교를 가능하게 하기 위해.
• GTE 기반 평가가 기존 XAI 방법의 약점을 드러내는 방식을 보여주기 위해, 예를 들어 LIME의 편향 샘플링에 대한 민감성과 같은 문제를 확인하기 위해.

제안 방법

• 분류 작업에서 특성 중요도를 인코딩하는 표준 방정식을 정의하여 근본적 설명(GTE)을 나타내는 합성 데이터를 생성하는 방법론을 개발하기 위해.
• 특성 중요도가 수학적 방정식을 통해 명시적으로 정의된 세 가지 벤치마크 데이터셋(Loan, Iris, 3특성 합성 데이터셋)을 구축하기 위해.
• 각 데이터셋에서 100% 정확도로 완전히 연결된 신경망을 훈련시켜 모델 행동이 결정론적이며 GTE와 일치하도록 하기 위해.
• 다양한 수의 편향 샘플(예: 5, 50)을 사용하여 훈련된 모델에 LIME을 적용하여 LIME 형식의 설명을 생성하기 위해.
• 표준 방정식에서 유도된 근본적 특성 중요도를 LIME 호환 형식으로 변환하여 직접 비교하기 위해.
• 고정된 초모수를 사용한 코사인 유사도와 리지 회귀를 사용하여 LIME의 설명을 GTE와 비교 평가하고, 충실도와 일관성을 측정하기 위해.

실험 결과

연구 질문

• RQ1 알려진 수학적 특성 중요도를 갖는 합성 데이터가 XAI 방법 평가를 위한 신뢰할 수 있는 근본적 설명으로 기능할 수 있는가?
• RQ2 기존 평가 메트릭이 높은 품질의 설명과 인위적으로 좋은 설명을 구분하지 못하는 이유는 무엇이며, GTE는 이러한 결함를 어떻게 드러낼 수 있는가?
• RQ3 알려진 근본적 설명과 비교할 때 LIME의 성능은 다양한 수의 편향 샘플에 따라 어떻게 변하는가?
• RQ4 편향 샘플의 데이터 범위와 정밀도에 대한 지식 부족이 LIME의 설명 정확도를 얼마나 심각하게 떨어뜨리는가?
• RQ5 GTE 기반 평가로 XAI 연구 분야에서 더 일관성 있고 책임감 있으며 재현 가능한 진전을 이룰 수 있는가?

주요 결과

• LIME의 성능은 편향 샘플 수에 매우 민감하다. Loan 데이터셋에서 전체 인스턴스의 거의 모든 수준(50개 샘플)을 사용했음에도 가장 정확한 설명을 얻지 못했으며, 이는 샘플링 전략에 결함이 있음을 시사한다.
• 평가 결과, 더 많은 샘플 수가 실제 충실도 향상 없이도 인위적으로 좋은 결과를 낳을 수 있음을 확인했으며, 이는 메트릭 점수는 일관되게 유지되었지만 실제 충실도는 향상되지 않았기 때문이다.
• LIME의 설명과 근본적 설명 간의 괴리 원인은 데이터의 범위와 정밀도에 대한 지식 부족에 기인한 것으로 분석되었으며, 이러한 정보를 제공할 경우 LIME의 정확도가 크게 향상될 수 있음을 시사한다.
• 모든 평가 메트릭(예: 코사인 유사도, 충실도)이 50개 샘플에서 동일한 인위적 향상을 일관되게 식별했으며, 이는 제안된 평가 프레임워크의 신뢰성을 검증한다.
• 본 연구는 GTE 기반 평가가 LIME이 알려진 데이터 제약 조건을 활용하지 못하는 등의 방법론적 약점을 드러내며 향후 개선 방향을 제시할 수 있음을 입증한다.
• 제안된 프레임워크는 측정 가능하고 검증 가능하며 재현 가능한 XAI 방법 평가를 가능하게 하여, 분야 내에서 책임감 있고 체계적인 진전을 이끌 수 있는 길을 열어준다.