[논문 리뷰] A Learning Theoretic Perspective on Local Explainability

Jeffrey Li, Vaishnavh Nagarajan외 2명|arXiv (Cornell University)|2021. 05. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 2

한 줄 요약

이 논문은 국소적 해석 가능성과 학습 이론 사이의 이론적 연관성을 설정하기 위해 국소 근사 방법에서 모델 정확도와 설명 충실도에 대한 일반화 경계를 도입한다. 국소적으로 해석 가능한 모델이 테스트 시점에서 더 잘 일반화됨을 증명하고, 유한한 학습 샘플에서 유도된 설명에 대한 새로운 일반화 경계를 제공한다.

ABSTRACT

In this paper, we explore connections between interpretable machine learning and learning theory through the lens of local approximation explanations. First, we tackle the traditional problem of performance generalization and bound the test-time accuracy of a model using a notion of how locally explainable it is. Second, we explore the novel problem of explanation generalization which is an important concern for a growing class of finite sample-based local approximation explanations. Finally, we validate our theoretical results empirically and show that they reflect what can be seen in practice.

연구 동기 및 목표

• 기계 학습에서 국소적 해석 가능성의 영향이 모델 일반화에 미치는 이론적 이해의 격차를 해소하기 위해.
• 유한 샘플 국소 근사 방법에서의 설명 일반화 문제를 체계화하고 분석하기 위해.
• 국소적 해석 가능성에 기반한 이론적 경계를 도입함으로써 해석 가능한 기계 학습과 학습 이론을 연결하기 위해.
• 이론적 주장들을 실증적으로 검증하여 실제 관찰된 행동과의 일치를 보여주기 위해.

제안 방법

• 국소 해석 가능성의 척도를 기반으로 테스트 시점의 모델 정확도에 대한 일반화 경계를 제안하며, 이는 모델의 국소적 행동이 얼마나 잘 근사될 수 있는지를 정량화한다.
• 유한한 샘플에서 유도된 설명의 일반화에 대한 새로운 일반화 경계를 도입하여, 유한 샘플 설명이 모델의 진정한 국소적 행동을 얼마나 잘 근사하는지 분석한다.
• 국소 근사 충실도와 경험 리스크를 결합한 이론적 프레임워크를 사용하여 모델 및 설명 성능에 대한 경계를 유도한다.
• LIME 방식의 방법과 유사한 근접 이웃 기반 근사를 통한 국소 해석 가능성의 공식화를 활용하여, 유한 샘플 환경에서의 일반화를 분석한다.
• 데이터 및 모델 행동에 대한 약한 가정 하에, 농도 불등식과 같은 통계 학습 이론의 표준 도구를 사용하여 경계를 도출한다.
• 표준 데이터셋에서의 실증적 평가를 통해 이론적 예측을 검증하며, 이론적 경계와 관측된 일반화 성능를 비교한다.

실험 결과

연구 질문

• RQ1 국소적 해석 가능성은 테스트 시점의 모델 정확도 일반화에 어떻게 영향을 미치는가?
• RQ2 유한한 학습 샘플에서 유도된 국소 설명의 일반화를 이론적으로 경계할 수 있는가?
• RQ3 국소 근사 충실도와 모델 예측 및 설명의 일반화 사이의 관계는 무엇인가?
• RQ4 제안된 이론적 경계는 실용적 국소 설명 설정에서의 실증 관찰과 일치하는가?

주요 결과

• 국소적 해석 가능성 수준이 높을수록 향상된 일반화 경계를 갖는 모델 정확도에 대한 경계를 확립하였으며, 이는 더 국소적으로 해석 가능한 모델가 더 잘 일반화됨을 시사한다.
• 유한 샘플에서 유도된 설명의 일반화에 대한 새로운 이론적 경계를 도출하였으며, 약한 조건 하에 유한 샘플 국소 설명이 신뢰성 있게 일반화될 수 있음을 보여준다.
• 실증적 검증을 통해 이론적 경계가 관측된 성능과 상관관계가 있음을 확인하였으며, 유도된 일반화 보장의 실용적 관련성을 뒷받침한다.
• 결과적으로 국소적 해석 가능성은 후행적 해석 도구를 넘어서 기계 학습 모델의 일반화를 향상시키는 정규화 요소임을 입증한다.