[논문 리뷰] The Representation Jensen-Shannon Divergence

Jhoan K. Hoyos-Osorio, Luis G. Sanchez-Giraldo|arXiv (Cornell University)|2023. 05. 25.

Statistical Mechanics and Entropy인용 수 4

한 줄 요약

이 논문은 밀도 추정을 피하기 위해 데이터를 재생능력 핵 힐버트 공간(RKHS)에 임bedding하는 비-centrered 공분산 연산자를 사용하여, 새로운 커널 기반의 분산인 Representation Jensen-Shannon Divergence(RJSD)를 제안한다. 이 방법은 푸리에 특징 또는 커널 행렬을 통해 확장 가능한, 미분 가능한, 미니배치 호환 가능한 추정을 가능하게 하여, 이중 샘플 검정에서 최고 성능을 달성하고, 생성 모델링에서 모드 붕괴를 이론적 보장과 함께 완화한다. RJSD는 고전적 JSD의 하한으로서의 성격을 지닌다.

ABSTRACT

Quantifying the difference between probability distributions is crucial in machine learning. However, estimating statistical divergences from empirical samples is challenging due to unknown underlying distributions. This work proposes the representation Jensen-Shannon divergence (RJSD), a novel measure inspired by the traditional Jensen-Shannon divergence. Our approach embeds data into a reproducing kernel Hilbert space (RKHS), representing distributions through uncentered covariance operators. We then compute the Jensen-Shannon divergence between these operators, thereby establishing a proper divergence measure between probability distributions in the input space. We provide estimators based on kernel matrices and empirical covariance matrices using Fourier features. Theoretical analysis reveals that RJSD is a lower bound on the Jensen-Shannon divergence, enabling variational estimation. Additionally, we show that RJSD is a higher-order extension of the maximum mean discrepancy (MMD), providing a more sensitive measure of distributional differences. Our experimental results demonstrate RJSD's superiority in two-sample testing, distribution shift detection, and unsupervised domain adaptation, outperforming state-of-the-art techniques. RJSD's versatility and effectiveness make it a promising tool for machine learning research and applications.

연구 동기 및 목표

• 밀도 추정 없이 경험적 샘플에서 통계적 분산을 추정하는 데 도전하는 것.
• RKHS 내의 두 번째 모멘트를 활용하여 더 높은 강건성과 이론적 기반을 확보하는 분산을 개발하는 것.
• 딥 러닝 최적화에 적합한 확장 가능하고, 미분 가능하며, 미니배치 호환 가능한 추정기 개발하는 것.
• RJSD가 고전적 젠슨-쇼너 분산의 하한으로서 정의되어 변분 추정과 통계적 보장을 가능하게 하는 것.
• 다양한 데이터 분포에서 이중 샘플 검정과 생성 모델링에서의 모드 붕괴 완화에서 뛰어난 성능을 보이는 것.

제안 방법

• 비-centrered 공분산 연산자를 사용하여 확률 분포를 RKHS에 임베딩함으로써 Representation Jensen-Shannon Divergence(RJSD)를 제안한다.
• 표본 공분산 행렬에서 추출된 명시적 푸리에 특징 매핑을 활용하여 경험적 추정기를 구성함으로써, 미분 가능성과 확장 가능성을 확보한다.
• 명시적 특징 매핑 없이 커널 행렬 기반 추정기를 대안으로 제공하며, 이론적 일致성을 유지한다.
• 약한 정칙 조건 하에서 제안된 추정기의 일관성과 샘플 복잡도 한계를 도출한다.
• 커널 기반 엔트로피와 샤논 엔트로피 간의 관계를 활용하여 RJSD를 고전적 정보이론적 양과 연결한다.
• 엔드 투 엔드 훈련에서 푸리에 특징, 커널 대역폭, 네트워크 파라미터를 함께 학습하는 방식으로 RJSD를 Adam으로 최적화한다.

Figure 1: Jensen-Shannon Divergence estimation for two set of samples following Cauchy distributions (N = 512). We compare the following estimators: NWJ (Nguyen et al., 2010 ) , infoNCE (Oord et al., 2018 ) , CLUB (Cheng et al., 2020 ) , MINE (Belghazi et al., 2018 ) , KNIFE (Pichler et al., 2022 )

실험 결과

연구 질문

• RQ1 두 번째 모멘트를 활용하여 밀도 추정 없이 RKHS에서 분산을 구성할 수 있는가?
• RQ2 경험적 샘플링 하에서 제안된 RJSD 추정기가 일관성 있고 샘플 효율적인가?
• RQ3 RJSD가 고전적 젠슨-쇼너 분산의 하한으로서 기능할 수 있으며, 이로 인해 보장된 변분 추정이 가능한가?
• RQ4 RJSD가 다양한 데이터 분포에서 최고 성능을 보이는 이중 샘플 검정 방법인가?
• RQ5 RJSD는 생성 적대 신경망에서 모드 붕괴를 효과적으로 방지하고 샘플 다양성을 향상시킬 수 있는가?

주요 결과

• RJSD는 MNIST, Higgs, HDGM 등 다양한 데이터셋에서 이중 샘플 검정에서 최고 성능을 기록하며, MMD, C2ST 및 기타 베이스라인보다 높은 통계적 검정력(statistical power)을 확보한다.
• RJSD 기반의 GAN 훈련은 기존 GAN보다 더 다양하고 고품질의 샘플을 생성하며, 모드 붕괴를 효과적으로 완화한다.
• RJSD 추정기는 고전적 젠슨-쇼너 분산의 하한으로서의 성격을 지녀, 이론적 일관성 보장을 갖춘 변분 추정기로 활용 가능하다.
• 푸리에 특징 기반 추정기는 뛰어난 확장 가능성과 미니배치 최적화 호환성을 보이며, 딥 생성 모델의 효율적 훈련을 가능하게 한다.
• 경험적 결과로는 일반 커널 이론의 기대와는 반대로, D << N 수준의 푸리에 특징을 사용할 경우 고차원 특징 공간보다 더 뛰어난 성능을 기록하는 경우가 많다.
• 데이터 스케일 변화에 대해 강건성을 유지하나, 커널 행렬의 랭크 일관성 문제로 인해 주의 깊은 하이퍼파rameter 튜닝 또는 명시적 특징 매핑의 사용이 필요하다.

Figure 3: Generated samples using rep JSD.