[논문 리뷰] Max-Sliced Mutual Information

Dor Tsur, Ziv Goldfeld외 1명|arXiv (Cornell University)|2023. 09. 28.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 고차원 변수의 저차원 선형 투영 간 상호정보량을 최대화함으로써 확장 가능한 정보이론적 일반화인 최대-슬라이스된 상호정보량(mSMI)을 소개한다. mSMI는 신경망 추정과 비점근적 오차 경계를 통해 복잡한 비선형 의존성을 포착하면서도 계산 효율성을 유지하며, 표현 학습, 공정성, 생성 모델링 분야에서 기존 방법들을 능가한다. 계산 오버헤드는 최소한이다.

ABSTRACT

Quantifying the dependence between high-dimensional random variables is central to statistical learning and inference. Two classical methods are canonical correlation analysis (CCA), which identifies maximally correlated projected versions of the original variables, and Shannon's mutual information, which is a universal dependence measure that also captures high-order dependencies. However, CCA only accounts for linear dependence, which may be insufficient for certain applications, while mutual information is often infeasible to compute/estimate in high dimensions. This work proposes a middle ground in the form of a scalable information-theoretic generalization of CCA, termed max-sliced mutual information (mSMI). mSMI equals the maximal mutual information between low-dimensional projections of the high-dimensional variables, which reduces back to CCA in the Gaussian case. It enjoys the best of both worlds: capturing intricate dependencies in the data while being amenable to fast computation and scalable estimation from samples. We show that mSMI retains favorable structural properties of Shannon's mutual information, like variational forms and identification of independence. We then study statistical estimation of mSMI, propose an efficiently computable neural estimator, and couple it with formal non-asymptotic error bounds. We present experiments that demonstrate the utility of mSMI for several tasks, encompassing independence testing, multi-view representation learning, algorithmic fairness, and generative modeling. We observe that mSMI consistently outperforms competing methods with little-to-no computational overhead.

연구 동기 및 목표

• 기존 CCA는 선형 의존성만 포착할 수 있고, 상호정보량은 고차원에서 추정이 불가능하므로 이러한 한계를 해결하고자 한다.
• 복잡한 비선형 의존성을 포착할 수 있는 표현력 있는 상호정보량의 특성을 유지하면서 CCA의 확장성과 결합한 의존도 측정법을 개발하고자 한다.
• 기존 비선형 CCA 변종(예: 커널 CCA, 딥 CCA)에 비해 이론적으로 탄탄하고 계산 효율적인 대안을 제공하고자 한다.
• 형식적 오차 경계를 갖춘 신경망 추정기를 통해 표현 학습, 공정성, 생성 모델링 분야에서 실용적인 응용을 가능하게 하고자 한다.
• mSMI가 가우시안 분포일 경우 기존 CCA로 축소됨을 보여주어, CCA의 자연스러운 정보이론적 일반화임을 입증하고자 한다.

제안 방법

• Stiefel 다양체에서의 정규직교 투영 행렬을 사용하여, 두 고차원 랜덤 변수의 투영 간 상호정보량의 Supremum으로 mSMI를 정의한다.
• Donsker-Varadhan 변분 형태를 활용해, 기울기 기반 학습을 통해 투영과 비평가 함수를 동시에 최적화하는 신경망 추정기를 구성한다.
• 선형 투영과 신경망 비평가를 조합한 단일 신경망 아키텍처를 제안하여 mSMI를 효율적으로 추정한다.
• 비점근적 오차 경계를 입증하며, 이는 $ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $ 스케일을 가지며, 뉴런 수 $ \ell = n $일 경우 파arametric 속도를 달성한다.
• mSMI를 다중 시각 표현 학습, 브로드밴드 최적화를 통한 공정성, mSMI 정규화를 적용한 InfoGAN 기반 생성 모델링에 응용한다.
• mSMI가 CCA로 축소됨을 입증: 공동 가우시안 분포일 경우 최적의 투영이 CCA 해와 일치한다.

(a) FashionMNIST

실험 결과

연구 질문

• RQ1 상호정보량처럼 전체 비선형 의존성을 포착할 수 있지만 계산적으로 확장 가능한 의존도 측정법을 설계할 수 있는가?
• RQ2 저차원 투영에 대한 상호정보량을 최대화하는 것이 비가우시안 설정에서 상관계 basd CCA보다 더 나은 표현을 얻을 수 있는가?
• RQ3 mSMI에 대한 신경망 추정기가 표본 크기와 네트워크 폭에 따라 유리하게 스케일링되는 비점근적 오차 경계를 달성할 수 있는가?
• RQ4 독립성 검정, 공정성, 분리된 표현 학습 등의 과제에서 mSMI는 기존 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 투영 차원 $ k $ 와 데이터 분포의 내재 차원 사이의 관계는 무엇인가?

주요 결과

• mSMI는 계산 오버헤드가 최소한임에도 불구하고 다중 시각 표현 학습, 독립성 검정, 알고리즘 공정성, 생성 모델링 분야에서 경쟁 방법들을 일관되게 능가한다.
• 미국 인구 조사 민족학적 데이터셋에서, $ k > 1 $ 일 때 mSMI는 최신 기법인 'Slice'보다 더 공정한 표현을 학습하면서도 공정성 무시 기준 모델과 유사한 성능을 유지한다.
• mSMI에 대한 신경망 추정기는 비점근적 오차 경계를 $ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $ 스케일로 달성하며, $ \ell = n $ 일 경우 파arametric 속도를 확보하여 강력한 확장성을 입증한다.
• 생성 모델링에서, 최대-슬라이스된 InfoGAN은 낮은 차원의 투영 덕분에 더 적은 파라미터로도 MNIST의 숫자 클래스와 같은 잠재 코드를 성공적으로 분리한다. 성능은 이전 방법들과 비슷하다.
• $(X,Y)$ 가 공동 가우시안일 경우 mSMI가 고전적 CCA로 축소됨을 입증하여, mSMI가 CCA의 자연스러운 정보이론적 일반화임을 확인한다.
• 실증적으로 강건함을 입증: $ k=1 $ 일 때 mSMI도 다양한 과제에서 뛰어난 성능을 내어, 기존 의존도 측정법에 비해 다재다능하고 효과적인 대안임을 시사한다.

(b) MNIST, $k=5$