[논문 리뷰] Information Theory in Density Destructors

J. Emmanuel Johnson, Valero Laparra외 3명|arXiv (Cornell University)|2020. 12. 02.

Neural Networks and Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 복잡한 다변량 확률 분포를 최대 엔트로피 형태로 매핑하는 미분 가능하고 역행 가능한 변환인 밀도 파괴자(density destructors)와 고전적 정보이론 사이의 새로운 연결을 제안한다. 다변량 정규화를 위한 강력한 블록 독립 정규화(RBIZ)를 활용하여, 최대 50차원의 시뮬레이션된 다변량 t-분포에서 기존 기법들을 능가하는 총상관(correlation)과 상관정보(mutual information)의 정확한 추정을 가능하게 한다.

ABSTRACT

Density destructors are differentiable and invertible transforms that map multivariate PDFs of arbitrary structure (low entropy) into non-structured PDFs (maximum entropy). Multivariate Gaussianization and multivariate equalization are specific examples of this family, which break down the complexity of the original PDF through a set of elementary transforms that progressively remove the structure of the data. We demonstrate how this property of density destructive flows is connected to classical information theory, and how density destructors can be used to get more accurate estimates of information theoretic quantities. Experiments with total correlation and mutual information inmultivariate sets illustrate the ability of density destructors compared to competing methods. These results suggest that information theoretic measures may be an alternative optimization criteria when learning density destructive flows.

연구 동기 및 목표

• 밀도 파괴자와 고전적 정보이론 간의 이론적 및 실용적 연결을 수립하기 위해.
• 역행가능하고 미분 가능한 변환을 사용하여 총상관과 상관정보와 같은 정보이론적 양을 추정하는 방법을 개발하기 위해.
• 밀도 파괴자가 고차원 환경에서 기존 추정기들에 비해 강력한 대안이 될 수 있음을 보여주기 위해.
• 정보이론적 추정에서 최첨단 기법들과의 비교를 통해 제안된 RBIG 기반 밀도 파괴자의 성능을 평가하기 위해.

제안 방법

• 이 방법은 다변량 데이터를 반복적인 근사 정규화와 직교 회전(예: 주성분 분석)을 통해 표준 정규 또는 균일 기저 분포로 변환하는 밀도 파괴자, 특히 RBIG 알고리즘을 사용한다.
• 이 변환은 역행가능하고 미분 가능하므로, 변수변환 공식을 통해 정확한 가능도를 계산할 수 있다.
• 총상관(T)은 층을 거쳐 누적된 부재성 감소량으로 추정되며, 누적합 ΔT를 통해 수렴 여부를 추적한다.
• 기저 분포 하에서 데이터의 가능도를 계산하기 위해 파괴자의 야코비안 행렬의 행렬식을 사용한다.
• 이 프레임워크는 Laparra 등(2011)의 정지 기준을 따르며, 총상관을 최적화 기준으로 사용하여 훈련된다.
• 비교를 위해 다변량 t-분포에서 kNN, expF, vME 추정기와의 성능 평가를 ITE-Toolbox를 사용하여 수행한다.

실험 결과

연구 질문

• RQ1 밀도 파괴자는 총상관과 상관정보와 같은 고전적 정보이론 개념과 공식적으로 연결될 수 있는가?
• RQ2 다변량 정규화(RBIG) 기반 밀도 파괴자는 경쟁 기법들보다 정보이론적 양의 더 정확한 추정을 가능하게 하는가?
• RQ3 총상관을 최적화 기준으로 사용하면 밀도 파괴자가 다변량 의존성을 추정하는 데 있어 성능이 향상되는가?
• RQ4 자유도(ν=2,3)가 다양하고 차원 수가 높은 환경(d=3,10,50)에서 RBIG 기반 밀도 파괴자는 어떻게 성능을 발휘하는가?

주요 결과

• 모든 테스트된 차원과 자유도에서 RBIG 기반 밀도 파괴자는 kNN, expF, vME 추정기보다 총상관(T) 추정에서 일관되게 뛰어난 성능을 보였다.
• 상관정보(I)의 경우, 모든 설정에서 최고 또는 근사 최고 성능을 기록했으며, 해석적 값과의 편차가 최소였다.
• 동심원 토이 예제에서는 총상관을 거의 0으로 감소시켜 부재성 정보를 효과적으로 제거한 것으로 나타났다.
• 층을 거쳐 누적된 ΔT의 수렴이 0에 도달하여, 흐름이 데이터의 모든 통계적 의존성을 성공적으로 제거했음을 확인했다.
• 샘플 크기(500에서 50,000까지)와 고차원 설정(d=50까지)에 걸쳐 뛰어난 강건성을 보였다.
• 총상관을 최적화 기준으로 사용함으로써 밀도 파괴자의 효과적인 학습이 이뤄졌으며, 이는 학습 목표로서의 유용성을 검증했다.