[논문 리뷰] Measuring Dependence with Matrix-based Entropy Functional

Shujian Yu, Francesco Alesiani외 3명|arXiv (Cornell University)|2021. 01. 25.

Statistical Mechanics and Entropy참고 문헌 72인용 수 6

한 줄 요약

이 논문은 다변량 데이터에서 임의의 차원에서의 종속성을 측정하기 위해 행렬 기반 R{\'e}nyi의 $\alpha$-엔트로피를 사용하는 두 가지 미분 가능하고 분포에 종속되지 않은 종속성 측도—행렬 기반 정규화된 총 상관($T_{\beta}^{*}$)과 이중 총 상관($D_{\beta}^{*}$)—를 제안한다. 이 측도들은 기존 방법보다 통계적으로 더 강력하며, 유전자 네트워크 추론, 이상치 탐지, 공변량 이탈 하에서의 강건한 학습, 그리고 CNN 학습 동역학 분석에서 향상된 성능을 보여준다.

ABSTRACT

Measuring the dependence of data plays a central role in statistics and machine learning. In this work, we summarize and generalize the main idea of existing information-theoretic dependence measures into a higher-level perspective by the Shearer's inequality. Based on our generalization, we then propose two measures, namely the matrix-based normalized total correlation ($T_α^*$) and the matrix-based normalized dual total correlation ($D_α^*$), to quantify the dependence of multiple variables in arbitrary dimensional space, without explicit estimation of the underlying data distributions. We show that our measures are differentiable and statistically more powerful than prevalent ones. We also show the impact of our measures in four different machine learning problems, namely the gene regulatory network inference, the robust machine learning under covariate shift and non-Gaussian noises, the subspace outlier detection, and the understanding of the learning dynamics of convolutional neural networks (CNNs), to demonstrate their utilities, advantages, as well as implications to those problems. Code of our dependence measure is available at: https://bit.ly/AAAI-dependence

연구 동기 및 목표

• 고차원 데이터에서 명시적 밀도 추정이 필요 없이 다변량 종속성을 측정하는 데 도전하는 것.
• Shearer의 부등식을 기반으로 기존의 정보이론적 종속성 측도들을 통합하고 일반화하여 보다 높은 수준의 시각을 제공하는 것.
• 딥러닝에서 손실 함수로 사용 가능한 미분 가능하고 확장 가능한 종속성 측도를 개발하는 것.
• 제안된 측도들이 실제 기계학습 응용 분야—강건한 학습 및 CNN 동역학 분석—에서 유용한지 입증하는 것.

제안 방법

• 직접적인 밀도 추정을 피하기 위해 행렬 기반 R{\'e}nyi의 $\alpha$-엔트로피 기반 기능 추정기를 활용한다.
• Shearer의 부등식을 사용하여 다중 랜덤 벡터 간의 총 종속성의 정규화된 측도인 $T_{\alpha}^{*}$ 를 제안한다.
• 상호작용적 종속성 패턴을 캡처하는 정규화된 이중 총 상관 측도인 $D_{\alpha}^{*}$ 를 도입한다.
• 신경망의 엔드 투 엔드 학습을 가능하게 하기 위해 두 측도의 미분 가능성을 확보한다.
• 학습 중 복소층의 특징 맵 종속성 분석에 측도를 적용한다.
• 잔차와 입력 간의 독립성을 장려하기 위해 측도를 손실 함수로 사용하여 강건성 향상.

실험 결과

연구 질문

• RQ1 임의의 차원에서의 다변량 종속성을 측정하기 위한 통합적이고 분포에 종속되지 않은 프레임워크를 개발할 수 있는가?
• RQ2 기존의 종속성 측도인 HSIC나 MINE와 비교할 때 제안된 측도 $T_{\alpha}^{*}$ 와 $D_{\alpha}^{*}$ 는 통계적으로 얼마나 강력한가?
• RQ3 $T_{\alpha}^{*}$ 와 $D_{\alpha}^{*}$ 는 유전자 조절 네트워크 추론과 부분공간 이상치 탐지에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 특히 학습 에포크 동안의 특징 맵 종속성에 대해 측도들이 의미 있는 패턴을 드러내는가?
• RQ5 $T_{\alpha}^{*}$ 를 손실 함수로 사용할 경우 공변량 이탈과 비정규성 노이즈의 영향을 얼마나 효과적으로 완화할 수 있는가?

주요 결과

• 제안된 $T_{\alpha}^{*}$ 와 $D_{\alpha}^{*}$ 측도는 모두 미분 가능하며, 기저 확률 밀도의 명시적 추정이 필요하지 않다.
• Diabetes 데이터셋에서 $T_{\alpha}^{*}$ 와 $D_{\alpha}^{*}$ 는 최상의 상태기반 LOF 방법과 동일한 AUC 점수 0.68를 기록했다.
• Musk 데이터셋에서 $D_{\alpha}^{*}$ 는 AUC 0.83를 기록하여 LOF(0.42)와 FB(0.40)를 포함한 모든 베이스라인을 초월했다.
• 부분공간 이상치 탐지에서 $T_{\alpha}^{*}$ 와 $D_{\alpha}^{*}$ 는 모든 테스트 데이터셋에서 최고 또는 두 번째로 높은 성능를 기록했다.
• CIFAR-10에서 VGG-16을 학습하는 동안 $T_{\alpha}^{*}$ 는 모든 복소층에서 거의 0에서 거의 1로 단조적으로 증가했으며, 이는 특징 맵 종속성이 증가하고 있음을 시사한다.
• 쌍별 종속성 $I_{\alpha}^{*}$ 의 히스토그램은 특징 맵 종속성이 거의 0에서 거의 1로 증가하는 것을 보여주었으며, 하층에서는 20 에포크 이내에 고도의 종속성이 도달했고, 상층에서는 100 에포크 이상이 소요되었다.