[논문 리뷰] Interpreting Black Box Predictions using Fisher Kernels

Rajiv Khanna, Been Kim외 2명|arXiv (Cornell University)|2018. 10. 23.

Machine Learning and Data Classification참고 문헌 14인용 수 32

한 줄 요약

이 논문은 피셔 커널과 순차 베이지안 적분(SBQ)을 사용하여 블랙박스 모델 예측을 해석하기 위한 모델에 종속되지 않는 방법을 제안한다. 이는 전체 테스트 세트를 설명하는 데 효과적이고 이론적 수렴 보장을 제공하는, 원칙적이고 확장 가능한 학습 데이터 선택을 가능하게 하며, 데이터 코딩, 오류 탐지, 요약 등에서 기존 방법들을 능가한다.

ABSTRACT

Research in both machine learning and psychology suggests that salient examples can help humans to interpret learning models. To this end, we take a novel look at black box interpretation of test predictions in terms of training examples. Our goal is to ask `which training examples are most responsible for a given set of predictions'? To answer this question, we make use of Fisher kernels as the defining feature embedding of each data point, combined with Sequential Bayesian Quadrature (SBQ) for efficient selection of examples. In contrast to prior work, our method is able to seamlessly handle any sized subset of test predictions in a principled way. We theoretically analyze our approach, providing novel convergence bounds for SBQ over discrete candidate atoms. Our approach recovers the application of influence functions for interpretability as a special case yielding novel insights from this connection. We also present applications of the proposed approach to three use cases: cleaning training data, fixing mislabeled examples and data summarization.

연구 동기 및 목표

• 개별 예측이 아닌 전체 테스트 예측 세트를 학습 데이터로 해석하기 위한 원칙적이고 확장 가능한 방법의 부족을 해결하기 위해.
• 영향 함수를 단일 예측에서 집합 기반의 영향으로 확장하여 모델 행동을 통합적으로 해석할 수 있도록 하기 위해.
• 이산 후보 집합에 대한 SBQ의 이론적 수렴 경계를 제공하여 알고리즘의 효율성과 확장성 향상시키기 위해.
• 실제 응용 분야에서의 실용적 유용성을 입증하기 위해: 학습 데이터 코딩, 잘못 레이블링된 예제 탐지, 데이터 요약.
• 영향 함수와 피셔 커널 기반 영향 간의 공식적 연결을 수립하여, 모델의 강건성과 해석 가능성에 대한 새로운 통찰을 제공하기 위해.

제안 방법

• 모든 학습 및 테스트 데이터 포인트를 피셔 커널이 유도하는 특징 공간에 매핑하여, 데이터 포인트 간의 모델 기반 유사도를 표현한다.
• 순차 베이지안 적분(SBQ)을 사용하여 피셔 커널 공간에서 테스트 세트의 분포를 가장 잘 근사하는 학습 예제의 부분집합을 탐욕적으로 선택한다.
• 모델 재학습이 필요 없이 기울기 오라클과 함수 평가를 활용하여 영향도 점수를 계산한다.
• 후보 학습 포인트에 대한 이산 최적화 문제로 선택 문제를 공식화하고, SBQ를 사용하여 테스트 분포 하에서 기대 영향도를 추정한다.
• 이산 원자 집합에 대한 SBQ의 새로운 수렴 경계를 도입하여 더 빠르고 신뢰할 수 있는 수렴을 가능하게 하며, 보장된 성능을 확보한다.
• 대규모 데이터셋에 대한 실용적 적용성을 높이기 위해 상수 요소 근사 경계를 갖는 확장 가능한 SBQ 변형을 개발한다.

실험 결과

연구 질문

• RQ1 어떻게 영향 기반의 해석을 개인적 예측에서 원칙적이고 확장 가능한 방식으로 전체 예측 세트로 확장할 수 있는가?
• RQ2 모델 해석의 맥락에서 이산 후보 집합에 적용된 SBQ의 이론적 수렴 행동은 어떠한가?
• RQ3 피셔 커널 공간은 다른 유사도 측정 방법에 비해 영향력 있는 학습 예제를 더 강건하고 의미 있게 식별하는 데 어떻게 기여하는가?
• RQ4 제안된 방법은 데이터 코딩, 잘못 레이블링된 예제 탐지, 데이터 요약과 같은 실세계 작업에서 기존 기준보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 영향 함수와 피셔 커널 간의 연결은 모델의 해석 가능성과 적대적 강건성에 대해 어떤 통찰을 제공하는가?

주요 결과

• 제안된 방법은 기존 기준(특히 최상위 자기 영향도 및 무작위 선택)을 뛰어넘어, 데이터 코딩 과정에서 잘못 레이블링된 예제를 수정하는 데 일관되게 뛰어난 성능을 보이며, 더 적은 수의 코딩된 포인트로도 높은 테스트 정확도를 달성한다.
• ChemReact 및 CovType 데이터셋에서의 데이터 요약 작업에서, 피셔 커널 + SBQ 접근법은 모든 부분집합 크기에서 코어셋 선택 및 무작위 샘플링에 비해 유의미하게 높은 예측 성능(테스트 로그우도로 측정)을 달성한다.
• 이 방법은 영향 함수 접근법을 특수 케이스로 복원하여 이론적 기반을 검증하고, 영향 기반 해석에 대한 새로운 통찰을 제공한다.
• 이산 집합에 대한 SBQ의 새로운 수렴 경계가 유도되었으며, 이는 더 빠른 수렴과 보장된 성능을 갖는 확장 가능한 알고리즘 변형을 가능하게 한다.
• 실증 결과는 이 방법이 청소된 학습 데이터, 잘못 레이블링된 예제 탐지, 대규모 데이터셋 요약 등 다양한 응용 분야에서 효과적임을 보여주며, 성능 저하가 최소한이 된다.
• 피셔 커널 공간이 강건한 학습에 핵심적임이 입증되었으며, 다양한 데이터셋과 작업에서 뛰어난 일반화 능력과 해석 가능성으로 나타났다.