[논문 리뷰] RelatIF: Identifying Explanatory Training Examples via Relative Influence

Elnaz Barshan, Marc-Etienne Brunet외 1명|arXiv (Cornell University)|2020. 03. 25.

Machine Learning and Data Classification참고 문헌 25인용 수 10

한 줄 요약

이 논문은 국소적 영향력과 전반적 영향력의 상대적 비율을 측정함으로써 더 직관적이고 대표적인 훈련 예제를 선택하는 새로운 방법인 RelatIF를 소개한다. 기존의 영향 함수(IF)는 종종 이상치 또는 잘못 레이블링된 데이터를 강조하는 반면, RelatIF는 전반적 영향력을 제약하여 입력에 특화되고 더 일반적인 예제를 선택함으로써 최종 사용자에게 더 나은 설명을 제공한다.

ABSTRACT

In this work, we focus on the use of influence functions to identify relevant training examples that one might hope "explain" the predictions of a machine learning model. One shortcoming of influence functions is that the training examples deemed most "influential" are often outliers or mislabelled, making them poor choices for explanation. In order to address this shortcoming, we separate the role of global versus local influence. We introduce RelatIF, a new class of criteria for choosing relevant training examples by way of an optimization objective that places a constraint on global influence. RelatIF considers the local influence that an explanatory example has on a prediction relative to its global effects on the model. In empirical evaluations, we find that the examples returned by RelatIF are more intuitive when compared to those found using influence functions.

연구 동기 및 목표

• 영향 함수(IF)가 설명용 훈련 데이터로 이상치 또는 잘못 레이블링된 예제를 선택하는 데에 한계가 있다는 문제를 해결하기 위해.
• 특정 입력에 더 대표적이고 관련성이 높은 훈련 예제를 식별함으로써 모델 예측의 해석 가능성 향상하기 위해.
• 훈련 예제 선택 과정에서 전반적 영향력(모델 전반의 영향)과 국소적 영향력(특정 예측에 대한 영향)을 분리하기 위해.
• 국소적 영향력이 전반적 영향력에 비해 높은 예제를 우선시하는 제약 최적화 프레임워크 개발하기 위해.

제안 방법

• RelatIF는 후보 훈련 예제의 전반적 영향력을 제한하는 제약 최적화 문제를 설정한다.
• 각 훈련 예제의 상대적 영향력을, 특정 예측에 대한 국소적 영향과 모델 전반에 대한 영향을 비교하여 계산한다.
• 영향 함수를 기반으로 하지만, 전반적 영향력의 크기에 제약을 두어 일반적이지 않은 예제를 걸러내는 방식을 도입한다.
• 전반적 영향력을 정해진 임계값 이내로 유지하면서 국소적 영향력을 최대화하는 훈련 예제를 식별한다.
• 모델 파라미터의 무한소적 분석을 통해 훈련 예제의 재가중치를 적용함으로써 전체 재학습을 피하는 방식으로 구현된다.
• 실증적 평가에서는 L2 거리와 정성적 분석을 사용해 RelatIF를 표준 IF 및 k-최근접 이웃(k-NN)과 비교한다.

실험 결과

연구 질문

• RQ1 전반적으로 영향력은 크지만 일반적이지 않은 예제를 걸러내는 것으로, 예제 기반 설명의 품질을 향상시킬 수 있는가?
• RQ2 상대적 영향력 기반 선택이 입력 분포에 더 대표적이며 특성 공간상에서 테스트 샘플에 더 가까운 훈련 예제를 제공하는가?
• RQ3 예제의 관련성과 특이성 측면에서 RelatIF는 영향 함수와 k-최근접 이웃과 비교해 어떻게 성능을 내는가?
• RQ4 상대적 영향력은 다양한 입력에 대해 영향력 있는 예제의 겹침을 줄여 더 구체적인 설명을 가능하게 하는가?

주요 결과

• 표준 영향 함수보다 RelatIF가 선택한 훈련 예제는 이상치 또는 잘못 레이블링된 예제일 가능성이 더 낮고 더 일반적인 특성을 띤다.
• CIFAR10에서 RelatIF가 반환한 예제는 영향 함수보다 L2 거리 기준으로 훨씬 더 테스트 입력에 가까운 반면, k-NN과의 겹침은 2.6–5.6%로 나타나, IF의 경우 0.67–1.24%에 불과하다.
• MNIST에서는 RelatIF가 k-NN과 26–35%의 겹침을 보이며, IF는 단지 1.3–2.7%의 겹침을 보여, 더 관련성 있고 국소화된 예제 세트를 제공함을 시사한다.
• 이상치의 영향 영역은 RelatIF에서 축소되어, 여러 테스트 입력이 동일한 고손실 예제로 설명되는 경향이 줄어든다.
• 정성적 분석 결과, RelatIF가 선택한 예제는 IF가 선택한 예제보다 더 직관적이고 테스트 입력에 더 맥락적으로 관련성이 높다.
• RelatIF는 몇몇 고손실 훈련 예제의 전반적 지배력을 줄여 더 특이적인 설명을 생성함으로써 사용자 해석 가능성 향상에 기여한다.