[논문 리뷰] Estimating Total Correlation with Mutual Information Bounds

Pengyu Cheng, Weituo Hao외 1명|arXiv (Cornell University)|2020. 10. 19.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 닫힌 형태의 분포가 가용하지 않을 때도 정확한 추정이 가능한, 총상관관계(TC)에 대한 표본 기반 변분 추정기들을 제안한다. 이를 위해 TC를 상호정보량(MI) 항들의 합으로 재구성하는 두 가지 분해 경로를 활용하여, 다양한 시뮬레이션 환경에서 향상된 정확도와 안정성으로 효과적인 TC 추정을 실현한다.

ABSTRACT

Total correlation (TC) is a fundamental concept in information theory to measure the statistical dependency of multiple random variables. Recently, TC has shown effectiveness as a regularizer in many machine learning tasks when minimizing/maximizing the correlation among random variables is required. However, to obtain precise TC values is challenging, especially when the closed-form distributions of variables are unknown. In this paper, we introduced several sample-based variational TC estimators. Specifically, we connect the TC with mutual information (MI) and constructed two calculation paths to decompose TC into MI terms. In our experiments, we estimated the true TC values with the proposed estimators in different simulation scenarios and analyzed the properties of the TC estimators.

연구 동기 및 목표

• 닫힌 형태의 확률변수 분포가 알려져 있지 않을 때 총상관관계(TC)를 추정하는 데 도전하는 것.
• 기계학습에서 정규화 요소로 사용하기 위해 신뢰할 수 있는 표본 기반 TC 추정기를 개발하는 것.
• TC와 상호정보량(MI) 간의 연결 고리를 설정하여, 분해 기반 추정을 가능하게 하는 것.
• 다양한 시뮬레이션 설정에서 제안된 추정기의 성능과 강인성(robustness)을 평가하는 것.

제안 방법

• 두 가지 다른 분해 경로를 통해 총상관관계(TC)를 상호정보량(MI) 항들의 합으로 재구성하는 것.
• 표본 데이터 분포에서 추출한 샘플을 이용해 변분 추론을 활용해 MI 항들을 근사하는 것.
• 분해된 TC 프레임워크 내에서 서로 다른 MI 추정 기법을 활용해 두 가지 표본 기반 추정기를 구축하는 것.
• 정확도와 수렴성 검증을 위해 진짜 TC 값이 알려진 시뮬레이션 데이터에 추정기를 적용하는 것.
• 다양한 아키텍처와 학습 방식을 적용해 다양한 시나리오에서의 안정성과 일반화 능력을 평가하는 것.
• 편향과 분산 측면에서 성능을 평가하기 위해 제안된 추정기들을 기준 기반 방법과 비교하는 것.

실험 결과

연구 질문

• RQ1 닫힌 형태의 분포가 없을 때도 총상관관계가 상호정보량 항들로 효과적으로 분해되어 표본 기반 추정이 가능한가?
• RQ2 닫힌 형태의 분포가 없을 경우, 제안된 MI 기반 추정기는 진짜 TC 값을 얼마나 정확하게 복원할 수 있는가?
• RQ3 두 가지 분해 경로는 TC 추정에서 각각 어떤 강점과 약점이 있는가?
• RQ4 다양한 데이터 분포와 표본 크기에서 제안된 추정기는 어떻게 성능을 발휘하는가?

주요 결과

• 진짜 분포가 알려져 있지 않은 상황에서도 제안된 추정기는 다양한 시뮬레이션 환경에서 총상관관계를 정확하게 추정한다.
• 두 가지 분해 경로를 통해 상호정보량 항들로 분해하면 낮은 편향과 함께 안정적이고 일관된 TC 추정치를 도출한다.
• 표본 기반 접근법은 수렴성과 추정 정확도 측면에서 기준 기반 방법보다 뛰어나다.
• 다양한 데이터 분포와 표본 크기에서 강인성을 보이며, 일반화 능력이 확인된다.