[논문 리뷰] Estimating mutual information in high dimensions via classification error

Charles Zheng, Yuval Benjamini|arXiv (Cornell University)|2016. 06. 16.

Neural Networks and Applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 고차원 근사 이론과 분류 샘플링 전략을 기반으로, k-분류 분류기의 평균 베이즈 오차를 이용한 상호정보량(MI)의 새로운 고차원 추정기 방법을 제안한다. 이 방법은 클래스 수 k에 따른 MI 추정의 상한선인 로그 함수의 제한을 극복함으로써, 조건이 만족될 경우 중간 차원에서도 정확한 MI 추정이 가능하게 하여, 기존의 추정기들보다 뛰어난 성능을 달성한다.

ABSTRACT

Multivariate pattern analyses approaches in neuroimaging are fundamentally concerned with investigating the quantity and type of information processed by various regions of the human brain; typically, estimates of classification accuracy are used to quantify information. While a extensive and powerful library of methods can be applied to train and assess classifiers, it is not always clear how to use the resulting measures of classification performance to draw scientific conclusions: e.g. for the purpose of evaluating redundancy between brain regions. An additional confound for interpreting classification performance is the dependence of the error rate on the number and choice of distinct classes obtained for the classification task. In contrast, mutual information is a quantity defined independently of the experimental design, and has ideal properties for comparative analyses. Unfortunately, estimating the mutual information based on observations becomes statistically infeasible in high dimensions without some kind of assumption or prior. In this paper, we construct a novel classification-based estimator of mutual information based on high-dimensional asymptotics. We show that in a particular limiting regime, the mutual information is an invertible function of the expected $k$-class Bayes error. While the theory is based on a large-sample, high-dimensional limit, we demonstrate through simulations that our proposed estimator has superior performance to the alternatives in problems of moderate dimensionality.

연구 동기 및 목표

• 고차원 뇌 영상 데이터에서 분류 정확도가 상호정보량의 대체 측정기로 사용될 수 있는 한계를 해결하기 위해.
• 클래스 분할에 대해 불변인, 이론적으로 탄탄한 분류 기반 상호정보량 추정기를 개발하기 위해.
• 기존 추정기들이 클래스 수 k에 따라 상한선이 존재하는 기본적인 한계를 극복하기 위해.
• 뇌 영역, 모odalities 또는 연구 간 정보량을 비교하기 위한 실용적이고 확장 가능한 방법을 제공하기 위해.
• 고차원 환경에서 분류 오차가 상호정보량을 신뢰성 있게 추정할 수 있는 조건을 설정하기 위해.

제안 방법

• 이 방법은 고차원 근사 이론과 분류 샘플링 하에서 상호정보량과 기대 k-분류 베이즈 오차 사이의 이론적 관계를 유도한다.
• 클래스 레이블이 유한한 수의 잠재 클래스에 대해 연속 분포에서 i.i.d.로 추출된다고 가정함으로써, 분류 오차를 제어할 수 있다.
• 레이블 충돌 확률을 모델링하기 위해 포아송 샘플링 근사를 사용하여 평균 베이즈 오차의 안정적 추정을 도출한다.
• 베이즈 오차와 상호정보량 사이의 점근적 관계를 역행하여 MI의 플러그인 추정기를 생성한다.
• 분류기의 베이즈 규칙을 근사한다고 가정하여 일관된 분류 오차 추정에 의존한다.
• 임의의 클래스 분할에 대해 강건하고 고차원 응답 공간으로도 확장 가능한 설계를 한다.

실험 결과

연구 질문

• RQ1 k-분류 작업에서의 분류 오차는 고차원 환경에서 상호정보량을 추정하는 데 사용될 수 있는가?
• RQ2 고차원 근사 이론과 분류 샘플링 하에서, 베이즈 오차와 상호정보량 사이의 관계는 어떻게 행동하는가?
• RQ3 이 추정기는 기존의 분류 기반 MI 추정기에서 발생하는 log(k) 상한선을 극복할 수 있는가?
• RQ4 중간 차원 문제에서 제안된 추정기는 기존의 표준 MI 추정기들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 모델 잘못 지정이나 유한 표본 편차에 대해 추정기가 강건해지는 조건은 무엇인가?

주요 결과

• 제안된 추정기 $\hat{I}_{HD}$ 는 시뮬레이션에서 기존의 추정기 $\hat{I}_{Fano}$ 와 $\hat{I}_{CM}$ 을 뛰어넘는 성능을 보이며, 특히 중간 차원에서 두드러진다.
• 이 추정기는 기존 방법들이 $\log(k)$ 상한선에 머무르는 기본적인 한계를 극복하여, 진짜 MI가 더 높을 경우에도 이를 정확히 추정할 수 있다.
• 완벽한 분류가 분할에 의해 이루어지는 최악의 경우 예시에서, 추정기는 과대추정 없이 유한한 MI($I(X;Y) = \log(k)$)를 정확히 식별한다.
• 클래스 수의 변화에 관계없이 추정된 MI에 체계적인 증가 또는 감소가 없어, 클래스 수에 대한 강건성을 보여준다.
• 이 방법은 분류 샘플링과 고차원 응답 공간의 조건을 만족할 경우 가장 효과적이며, 실제 적용 가능성을 위해 진단 검사를 제안한다.
• 포아송 샘플링 모델을 통한 이론적 근거가 제공되며, 이는 평균 베이즈 오차의 근사치를 도출하고, 이를 통해 MI 추정을 역행 가능하게 한다.