[논문 리뷰] Influence in Classification via Cooperative Game Theory

Amit Datta, Anupam Datta외 2명|arXiv (Cornell University)|2015. 04. 30.

Auction Theory and Applications참고 문헌 26인용 수 16

한 줄 요약

이 논문은 협력 게임 이론을 사용하여 분류에서 특성의 影響를 새로운 축적적 영향 측정법으로 도입하며, 특성의 변화가 분류 결과에 미치는 영향에 따라 특성 중요도를 고유하게 특성화한다. 선형 분류기의 경우 이 측정법이 기하학적 해석을 가짐을 증명하고, 실제 광고 타겟팅 데이터에서 검증하여 스페인어와 같은 언어 특성이 광고 타겟팅 결정에 중대한 영향을 미친다는 것을 보여준다.

ABSTRACT

A dataset has been classified by some unknown classifier into two types of points. What were the most important factors in determining the classification outcome? In this work, we employ an axiomatic approach in order to uniquely characterize an influence measure: a function that, given a set of classified points, outputs a value for each feature corresponding to its influence in determining the classification outcome. We show that our influence measure takes on an intuitive form when the unknown classifier is linear. Finally, we employ our influence measure in order to analyze the effects of user profiling on Google's online display advertising.

연구 동기 및 목표

• 내부 분류기 접근이 불가능한 블랙박스 분류 시스템에서 특성 영향을 투명하고 축적적으로 측정하는 방법을 개발하기 위해.
• 대규모 데이터 분류에서의 투명성 부족 문제를 해결하기 위해, 특히 숨겨진 특성 간 의존성으로 인해 의도하지 않은 차별이 발생할 수 있는 상황을 다루기 위해.
• 선형 모델을 초월한 일반적인 프레임워크를 제공하기 위해, 데이터에 대한 의사결정 거리 측정법과 사전 분포를 포함한 설정에도 적용 가능하도록 하기 위해.
• Google의 온라인 광고 시스템에서 수집한 실제 사용자 프로파일링 데이터를 기반으로 영향 측정법을 실증적으로 검증하기 위해.
• 영향 측정법이 편향되거나 매우 영향력이 큰 특성(예: 광고 배달에서 언어 선호도)을 탐지할 수 있음을 보여주기 위해.

제안 방법

• 특성 영향을 협력 게임 이론의 함수로 공식화하며, 특성은 플레이어로 간주하고, 가치 함수는 분류 결과를 반영한다.
• 네 가지 핵심 축약 조건—대칭성, 빈도 특성, 분리 합집합, 거리와의 일치—를 정의하여 영향 측정법을 유일하게 특성화한다.
• 특성이 편집될 때 분류 출력의 변화에 기반한 거리 기반 변화의 가중치 합으로 영향 측정법을 유도한다: $\phi_i(B) = \alpha \sum_{\mathbf{a} \in B} \sum_{b \in A_i: (\mathbf{a}_{-i},b) \in B} d((\mathbf{a}_{-i},b), \mathbf{a})$.
• 일반화된 설정에서 의사거리 측정법을 사용하여 프레임워크를 확장하고, 군집 기반의 영향 분해를 가능하게 한다.
• 특성 독립성(FI)과 분리 합집합 성질을 활용하여 특성 프로파일과 동치 클래스를 통해 영향을 분해한다.
• 행렬 표현과 대칭성에 기반한 증명 기법을 사용하여 축약 조건 하에서 영향 측정법의 유일성을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 축약 조건들이 블랙박스 분류기에서 공정하고 해석 가능한 특성 영향 측정법을 고유하게 특성화하는가?
• RQ2 기본 분류기가 선형인 경우 영향 측정법은 어떻게 행동하는가? 기하학적 해석이 가능할 수 있는가?
• RQ3 실제 사용자 프로파일링 시스템(예: 온라인 광고 타겟팅)에서 영향 측정법이 편향을 탐지하고 정량화할 수 있는가?
• RQ4 비이진 특성, 의사거리 측정법, 또는 데이터에 대한 사전 분포를 다룰 수 있도록 프레임워크를 어떻게 확장할 수 있는가?
• RQ5 실증 평가에서 영향 측정법이 직관적인 행동을 보이며, 예를 들어 광고 배달에서 언어가 주요 요인임을 정확히 식별하는가?

주요 결과

• 영향 측정법은 대칭성, d-빈도 특성, d-분리 합집합, 거리와의 일치라는 네 가지 축약 조건에 의해 고유하게 특성화된다.
• 선형 분류기의 경우 영향 측정법은 분류기의 가중치 벡터의 기하학적 노름과 일치하여 직관적인 해석이 가능하다.
• 실제 광고 타겟팅 데이터에서 스페인어 언어 특성이 모든 특성 중에서 가장 높은 영향도를 보였으며, 스페인어 사용자에게 강한 편향이 있음을 시사한다.
• 프레임워크는 이진 특성 외에도 일반화 가능하며, 의사거리 측정법을 지원하여 군집 기반의 영향 분해를 가능하게 한다.
• 영향 측정법은 특성 독립성을 만족하여 다양한 특성 프로파일에 따른 영향 분해가 가능하다.
• 측정법은 실험에서 강건하며 예상된 바와 같이 행동하며, 특성 편집의 영향에 비례하여 영향 값이 적절하게 스케일링된다.