[논문 리뷰] Sliced Mutual Information: A Scalable Measure of Statistical Dependence

Ziv Goldfeld, Kristjan Greenewald|arXiv (Cornell University)|2021. 10. 11.

Neural Networks and Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 고차원 변수의 일차원 랜덤 프로젝션에 대한 상호정보량(MI)의 평균을 취하는 방식으로, 기존 상호정보량의 확장성 있는 대체 측정법인 Sliced Mutual Information(SMI)를 제안한다. SMI는 고전적 MI의 핵심 성질을 유지하면서도 효율적인 추정이 가능하고, 결정론적 변환을 통해 의존도를 증가시킬 수 있어 고차원 환경에서의 특징 추출 및 표현 학습에 이상적이다.

ABSTRACT

Mutual information (MI) is a fundamental measure of statistical dependence, with a myriad of applications to information theory, statistics, and machine learning. While it possesses many desirable structural properties, the estimation of high-dimensional MI from samples suffers from the curse of dimensionality. Motivated by statistical scalability to high dimensions, this paper proposes sliced MI (SMI) as a surrogate measure of dependence. SMI is defined as an average of MI terms between one-dimensional random projections. We show that it preserves many of the structural properties of classic MI, while gaining scalable computation and efficient estimation from samples. Furthermore, and in contrast to classic MI, SMI can grow as a result of deterministic transformations. This enables leveraging SMI for feature extraction by optimizing it over processing functions of raw data to identify useful representations thereof. Our theory is supported by numerical studies of independence testing and feature extraction, which demonstrate the potential gains SMI offers over classic MI for high-dimensional inference.

연구 동기 및 목표

• 고차원 샘플에서 상호정보량(MI)을 추정할 때 발생하는 차원의 극복 문제를 해결하기 위해.
• 고전적 MI의 유용한 구조적 성질을 유지하면서도 확장성 있는 통계적 의존도 측정법을 개발하기 위해.
• 특히 표현 학습을 위해 고차원 데이터에서 의존도의 효율적 추정과 최적화를 가능하게 하기 위해.
• 고전적 MI와 달리 SMI가 결정론적 변환에 의해 증가할 수 있음을 보여주어 특징 추출에 활용할 수 있음을 입증하기 위해.

제안 방법

• SMI는 고차원 구면 위의 랜덤 단위 벡터를 사용하여 고차원 변수 X와 Y의 일차원 프로젝션 간의 MI 평균으로 정의된다.
• SMI의 적분을 근사하기 위해 단위 구면 위에서 몬테카를로 샘플링을 활용하여 유한한 샘플에서의 경험적 추정이 가능해진다.
• SMI의 이중형식을 신경망을 사용해 근사하는 방식으로, S-MINE라는 변분 추정기법을 제안한다.
• 이 방법은 선형 또는 비선형 변환을 최적화하여 SMI를 극대화할 수 있도록 엔드 투 엔드 최적화를 가능하게 하여 특징 추출을 촉진한다.
• 이론적 분석을 통해 추정 오차가 m^{-1/2} + n^{-1/2} (로그 인자까지)로 스케일링됨을 보여주며, 고차원에서 거의 파rametric 수준의 수렴 속도를 달성한다.
• 합성 데이터 및 MNIST 데이터셋을 대상으로 독립성 테스트와 특징 추출을 통해 방법의 타당성을 검증하였으며, 고전적 MI 대비 향상된 성능을 보였다.

실험 결과

연구 질문

• RQ1 고차원 환경에서도 통계적으로 효율적인 상호정보량의 대체 측정법을 구성할 수 있는가?
• RQ2 SMI는 고전적 MI의 핵심 구조적 성질(예: 독립일 경우 0이 되는 성질, 변분 표현 등)을 유지하는가?
• RQ3 결정론적 변환에 의해 SMI는 증가할 수 있으며, 고전적 MI와 달리 이를 특징 추출에 어떻게 활용할 수 있는가?
• RQ4 몬테카를로 샘플링과 신경망 추정기법을 사용한 SMI 추정의 통계 수렴 속도는 어떠한가?
• RQ5 고전적 MI와 비교해 볼 때 SMI는 독립성 테스트 및 표현 학습과 같은 실용적 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• SMI는 추정 오차가 m^{-1/2} + n^{-1/2} (로그 인자까지)로 스케일링되어 고차원에서 거의 파arametric 수준의 수렴 속도를 달성한다.
• 선형 프로젝션과 같은 결정론적 변환에 의해 SMI가 증가할 수 있어, 특징 추출의 목적함수로 활용 가능하다.
• 가우시안 데이터셋에서 S-MINE는 이론적 기대에 부합하여 진짜 기저 방향(e1)을 최적의 프로젝션으로 성공적으로 복원하였다.
• MNIST의 0-1 클래스 설정에서 SMI 최적화는 0.680비트의 추정 SMI를 달성하였으며, 이는 무작위 프로젝션에 비해 0.0752보다 훨씬 높은 성능을 보였다.
• X와 Y가 독립적으로 추출되었을 경우(클래스 공유 없음), 추정 SMI는 0.0289로 감소하여 메서드가 진짜 의존도를 탐지함을 확인하였다.
• 학습된 변환 행렬의 히트맵은 시각적으로 숫자 '0'과 일치하여, SMI 최적화가 클래스 관련 특징을 효과적으로 추출하고 있음을 시각적으로 확인하였다.