[논문 리뷰] A Characterization of Monotone Influence Measures for Data Classification.

Jakub Śliwiński, Martin Strobel외 1명|arXiv (Cornell University)|2017. 08. 07.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 기반 분류기의 쿼리 없이 데이터셋만을 사용하여 개별 데이터 포인트에 대한 특성 중요도를 측정하는 단조성 영향 측정법의 가족을 소개한다. 충족되어야 할 성질을 정의하는 축약 원리에서 유도된 이 방법은 해석 가능한, 데이터에만 의존하는 설명을 제공하며, 실제 데이터셋에서 효과적으로 작동한다. 이는 기반 분류기의 쿼리 없이 특성 영향 분석을 수행하는 새로운 접근법이다.

ABSTRACT

In this work we focus on the following question: how important was the i-th feature in determining the outcome for a given datapoint? We identify a family of influence measures; functions that, given a datapoint x, assign a value phi_i(x) to every feature i, which roughly corresponds to that i's importance in determining the outcome for x. This family is uniquely derived from a set of axioms: desirable properties that any reasonable influence measure should satisfy. Departing from prior work on influence measures, we assume no knowledge of - or access to - the underlying classifier labelling the dataset. In other words, our influence measures are based on the dataset alone, and do not make any queries to the classifier. While this requirement naturally limits the scope of explanations we provide, we show that it is effective on real datasets.

연구 동기 및 목표

• 분류 작업에서 개별 데이터 포인트에 대한 특성 영향을 원칙적이고 축약 원리 기반으로 측정하는 프레임워크를 정의하는 것.
• 기반 분류기의 접근이나 쿼리 없이도 데이터셋에만 의존하는 영향 측정법을 개발하는 것.
• 형식적 축약 원리들을 통해 단조성 및 일관성과 같은 바람직한 성질을 만족시키는 영향 측정법을 확보하는 것.
• 실제 적용 가능하고 해석 가능한, 데이터 기반의 특성 중요도 설명을 제공하는 것.

제안 방법

• 이 방법은 특성 영향 함수의 바람직한 성질를 형식화하는 축약 원리의 집합에서 영향 측정법의 가족을 도출한다.
• 기반 분류기의 내부 구조나 예측 함수에 대한 접근을 가정하지 않으며, 관측된 데이터 포인트와 레이블에만 의존한다.
• 특성 i가 데이터 포인트 x에 미치는 영향 측정값을 phi_i(x)로 표기하며, 이는 데이터셋 전체에서 특성 i와 결과 간의 통계적 관계를 기반으로 계산된다.
• 이 방법은 단조성 보장: 특성이 결과에 더 큰 기여를 할수록 영향 측정값이 비례하여 증가한다.
• 기반 분류기의 쿼리 없이도 실세계 데이터셋에 대해 계산적으로 효율적이고 확장 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 합리적이고 해석 가능한 특성 영향 측정법이 만족해야 할 성질은 무엇인가?
• RQ2 기반 분류기의 접근 없이도 데이터셋만으로 신뢰할 수 있는 영향 측정법을 도출할 수 있는가?
• RQ3 제안된 축약 원리 프레임워크는 어떻게 특성 중요도 평가의 단조성과 일관성을 보장하는가?
• RQ4 데이터만으로 구성된 영향 측정법이 실제로 분류 결과를 어느 정도 설명할 수 있는가?

주요 결과

• 제안된 영향 측정법은 유일하게 축약 원리의 집합에서 도출되어 일관성과 해석 가능성을 보장한다.
• 기반 분류기의 쿼리 없이도 실제 데이터셋에서 효과적인 설명 품질을 달성한다.
• 영향 측정법은 단조성 행동을 보이며, 예측에 더 큰 기여를 할수록 높은 영향 점수를 갖는다.
• 특히 블랙박스 또는 접근 제한이 있는 환경에서 쿼리 기반 영향 방법의 실용적인 대안을 제공한다.