[논문 리뷰] Towards Aggregating Weighted Feature Attributions

Umang Bhatt, Pradeep Ravikumar외 1명|arXiv (Cornell University)|2019. 01. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 9

한 줄 요약

이 논문은 훈련 인스턴스를 통해 국소적 설명을 통합함으로써 글로벌 가중 특성 기여도를 생성하는 새로운 방법 AVA(Aggregate Valuation of Antecedents)를 소개한다. 이 방법은 선조 이벤트 영향력과 기여도 할당을 융합하여 국소적 특성 중요도와 글로벌 패턴을 모두 포착함으로써 모델의 해석 가능성 향상에 기여한다. 다양한 데이터셋에서의 실험 결과, 기존 방법에 비해 더 나은 성능을 보이며 모델 예측을 더 잘 설명함을 확인하였다.

ABSTRACT

Current approaches for explaining machine learning models fall into two distinct classes: antecedent event influence and value attribution. The former leverages training instances to describe how much influence a training point exerts on a test point, while the latter attempts to attribute value to the features most pertinent to a given prediction. In this work, we discuss an algorithm, AVA: Aggregate Valuation of Antecedents, that fuses these two explanation classes to form a new approach to feature attribution that not only retrieves local explanations but also captures global patterns learned by a model. Our experimentation convincingly favors weighting and aggregating feature attributions via AVA.

연구 동기 및 목표

• 국소적 특성 기여도와 글로벌 모델 해석 간 격차를 해소하기 위해 선조 영향력과 기여도 할당 방법을 융합함으로써 목표를 달성한다.
• 모델 행동의 국소적 설명 정확도와 글로벌 구조적 패턴을 동시에 포착하는 통합 프레임워크를 개발한다.
• 학습 인스턴스를 통해 특성 기여도를 가중합하여 학습된 가중치를 활용함으로써 기계학습 모델의 해석 가능성 향상
• 기존 방법에 비해 더 강력하고 일반화 능력이 뛰어난 설명을 생성하는 가중 평균의 효과를 평가한다.
• 모델 예측에 대한 충실도를 유지하면서도 기반 데이터 패턴을 드러내는 확장 가능하고 원칙적인 특성 기여도 접근법을 제공한다.

제안 방법

• AVA는 특정 테스트 예측에 영향을 미친 훈련 인스턴스의 국소 기여도를 통합하여 특성 기여도를 정의한다.
• 각 훈련 인스턴스가 테스트 포인트에 미치는 영향에 따라 기여도에 가중치를 적용하는 가중 평균 기법을 도입한다.
• 모델의 예측 행동을 기반으로 각 훈련 포인트의 영향력을 계산하기 위해 커널 기반의 영향 함수를 사용하며, 이 영향력이 평균화의 가중치로 사용된다.
• 각 훈련 인스턴스에 대해 기울기 기반 방법(예: 시알리시 맵)을 사용해 특성 기여도를 계산하고, 이를 영향력 가중치를 통해 조합한다.
• 최종 기여도 벡터는 개별 인스턴스 기여도의 가중 합이며, 가중치는 모델의 예측 행동에서 유도된다.
• 모델의 예측 행동을 기반으로 한 기울기 기반 설명 기법과 영향 함수를 활용함으로써, 깊이 신경망 및 기타 블랙박스 모델에 적용 가능한 확장성 있는 접근법이다.

실험 결과

연구 질문

• RQ1 선조 영향력과 기여도 할당을 융합함으로써 특성 기여도의 품질과 일반화 능력 향상이 가능한가?
• RQ2 국소 기여도의 가중 평균 처리 방식이 모델 설명의 해석 가능성과 정확도에 어떤 영향을 미치는가?
• RQ3 AVA는 국소 설명 정확도를 유지하면서도 특성 중요도의 글로벌 패턴을 어느 정도 잘 포착할 수 있는가?
• RQ4 다양한 데이터셋에서 기존 기여도 방법에 비해 AVA는 얼마나 더 강력하고 일관된가?
• RQ5 영향력 가중치 적용이 집계된 특성 기여도의 안정성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• AVA는 국소적 정보와 글로벌 정보를 통합함으로써 특성 기여도의 품질을 크게 향상시켜 보다 일관되고 신뢰할 수 있는 설명을 제공한다.
• 이상치 기반 기여도 기법에 비해 다양한 데이터셋(이미지 및 테이블 형식 데이터 포함)에서 의미 있는 특성 패턴을 더 잘 포착하는 것으로 확인되었다.
• 영향 함수를 통한 가중 평균 처리 방식은 무게 없거나 히우리스틱 기반 평균화 방법보다 더 안정적이고 강력한 기여도를 제공한다.
• 실험 결과, AVA는 국소 기반 방법이 놓치는 클래스 기반 특성 종속성과 같은 글로벌 데이터 구조를 효과적으로 드러낸다.
• 모델 예측에 대한 높은 충실도를 유지하며, 테스트 인스턴스에서 실제 모델 행동과 밀접하게 일치하는 기여도를 제공한다.
• AVA는 다양한 아키텍처와 데이터 유형에서 모델 결정의 해석 가능한 분석을 가능하게 하여 벤치마크 전반에서 뛰어난 일반화 능력을 보였다.