[논문 리뷰] k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension

Ziv Goldfeld, Kristjan Greenewald외 2명|arXiv (Cornell University)|2022. 06. 17.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 고차원 변수를 k차원 부분공간에 투영함으로써 Sliced Mutual Information를 일반화한 가중치 기반의 확장성 있는 의존도 측정법인 k-Sliced Mutual Information(k-SMI)를 제안한다. 몬테카를로 추정 오차에 대해 날카롭고 차원에 의존하는 경계를 제공하며, 신경망 기반 추정기의 최적 수렴 속도를 규명함으로써 특정 조건 하에서 높은 차원이 추정 오차를 감소시킬 수 있음을 밝혀낸다.

ABSTRACT

Sliced mutual information (SMI) is defined as an average of mutual information (MI) terms between one-dimensional random projections of the random variables. It serves as a surrogate measure of dependence to classic MI that preserves many of its properties but is more scalable to high dimensions. However, a quantitative characterization of how SMI itself and estimation rates thereof depend on the ambient dimension, which is crucial to the understanding of scalability, remain obscure. This work provides a multifaceted account of the dependence of SMI on dimension, under a broader framework termed $k$-SMI, which considers projections to $k$-dimensional subspaces. Using a new result on the continuity of differential entropy in the 2-Wasserstein metric, we derive sharp bounds on the error of Monte Carlo (MC)-based estimates of $k$-SMI, with explicit dependence on $k$ and the ambient dimension, revealing their interplay with the number of samples. We then combine the MC integrator with the neural estimation framework to provide an end-to-end $k$-SMI estimator, for which optimal convergence rates are established. We also explore asymptotics of the population $k$-SMI as dimension grows, providing Gaussian approximation results with a residual that decays under appropriate moment bounds. All our results trivially apply to SMI by setting $k=1$. Our theory is validated with numerical experiments and is applied to sliced InfoGAN, which altogether provide a comprehensive quantitative account of the scalability question of $k$-SMI, including SMI as a special case when $k=1$.

연구 동기 및 목표

• k-Sliced Mutual Information(k-SMI)가 환경 차원과 투영 차원 k와 함께 어떻게 척도가 되는지 정량적 분석을 제공하기 위해.
• 이전 연구에서 SMI에 대한 격차를 메우기 위해, 추정 오차에 대해 k, d_x, d_y 및 표본 크기에 의존하는 명시적이고 검증 가능한 경계를 유도하기 위해.
• k-SMI에 대한 종단간 신경망 추정기의 공식적인 수렴 보장을 수립하고 최적의 수렴 속도를 확보하기 위해.
• 환경 차원이 증가함에 따라 인구 기반 k-SMI의 渐近적 행동을 분석하고, 잔차가 감소하는 가우시안 근사 결과를 제공하기 위해.
• 이론을 실증적으로 검증하고, 슬라이스드 InfoGAN에 적용하여 실용적인 확장성을 입증하기 위해.

제안 방법

• k-SMI를 정규직교 행렬의 스티펠 만다라 위에서 X와 Y의 k차원 투영 간 상호정보량의 평균으로 정의한다.
• HWI 부등식을 사용하여 2-워샤르슈트라인 거리에서 미분 엔트로피의 새로운 연속성 결과를 도출하며, 이전 연구보다 최적의 상수와 더 약한 정규성 가정을 사용한다.
• 스티펠 만다라 위에서 투영된 상호정보량이 프로베니우스 노름에 대해 리프시츠 연속성을 가지므로 몬테카를로 추정의 분산을 제한한다.
• 몬테카를로 추정 오차 경계를 O(√(k(1/d_x + 1/d_y)/m))로 설정하며, 공분산 및 페셔어 정보 행렬에 명시적인 의존성을 포함한다.
• 몬테카를로 적분을 k차원 변수에 대한 일반적인 상호정보량 추정기와 조합하여 종단간 k-SMI 추정기를 구성한다.
• 집중 및 엔트로피 연속성에 의한 일반화 오차 경계를 사용하여 신경망 추정기의 최적 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 k-SMI의 추정 오차는 환경 차원 d_x, d_y와 투영 차원 k와 함께 어떻게 척도가 되는가?
• RQ2 k, d_x, d_y 및 몬테카를로 표본 수 m 간의 상호작용은 추정 정확도를 결정하는 데 어떻게 작용하는가?
• RQ3 신경망을 사용하여 k-SMI를 최적의 파arametric 수렴 속도로 추정할 수 있으며, 그 수렴 보장 조건은 무엇인가?
• RQ4 d_x와 d_y가 증가함에 따라 인구 기반 k-SMI의 행동은 渐近적으로 어떻게 되며, 가우시안 근사로의 수렴 속도는 얼마인가?
• RQ5 k나 차원성을 증가시키면 추정 오차가 감소하는가, 그리고 어떤 조건에서 그러한 감소가 발생하는가?

주요 결과

• k-SMI의 몬테카를로 추정 오차는 O(√(k(1/d_x + 1/d_y)/m))로 척도가 되며, 공분산 및 페셔어 정보 행렬의 분포에 따라 명시적인 상수가 존재한다.
• k가 고정되어 있을 때 더 높은 환경 차원이 추정 오차를 감소시킬 수 있으며, 이는 경계에 포함된 1/d_x 및 1/d_y 항으로 인해 비직관적인 결과이지만 수치적으로 검증되었다.
• 투영된 변수의 미분 엔트로피는 스티펠 만다라 위에서 프로베니우스 노름에 대해 리프시츠 연속성을 가지며, 이는 몬테카를로 추정에서 분산 제어를 가능하게 한다.
• k-SMI에 대한 종단간 신경망 추정기는 미묘한 모멘트 및 정규성 조건 하에서 최적의 파라미터 수렴 속도를 달성한다.
• 적절한 모멘트 경계 하에서 인구 기반 k-SMI는 잔차가 O(1/√(d_x + d_y))로 감소하는 가우시안 근사를 갖는다.
• 모든 결과는 k=1일 때 원래 SMI 사례로 축소되며, 이는 이전 SMI 연구에서의 분석적 격차를 메운다.