[논문 리뷰] The continuous categorical: a novel simplex-valued exponential family

Elliott Gordon-Rodríguez, Gabriel Loaiza-Ganem외 1명|arXiv (Cornell University)|2020. 02. 20.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 6

한 줄 요약

이 논문은 단순체에서의 구성 데이터 모델링에서 딜리클레 분포의 핵심적 한계를 극복하는 연속적 순서형(Continuous Categorical, CC) 분포를 소개한다. 연속적 베르누이의 多변량 일반화를 통해 CC는 해석 가능한 로그우도와 재정의 가능한 샘플링을 가능하게 하여 신경망 퇄련 및 기타 확률 모델링 작업에서 딜리클레 및 교차엔트로피 기준보다 향상된 성능을 보인다.

ABSTRACT

Simplex-valued data appear throughout statistics and machine learning, for example in the context of transfer learning and compression of deep networks. Existing models for this class of data rely on the Dirichlet distribution or other related loss functions; here we show these standard choices suffer systematically from a number of limitations, including bias and numerical issues that frustrate the use of flexible network models upstream of these distributions. We resolve these limitations by introducing a novel exponential family of distributions for modeling simplex-valued data - the continuous categorical, which arises as a nontrivial multivariate generalization of the recently discovered continuous Bernoulli. Unlike the Dirichlet and other typical choices, the continuous categorical results in a well-behaved probabilistic loss function that produces unbiased estimators, while preserving the mathematical simplicity of the Dirichlet. As well as exploring its theoretical properties, we introduce sampling methods for this distribution that are amenable to the reparameterization trick, and evaluate their performance. Lastly, we demonstrate that the continuous categorical outperforms standard choices empirically, across a simulation study, an applied example on multi-party elections, and a neural network compression task.

연구 동기 및 목표

• 단순체 값 데이터에 대한 기존 모델, 특히 딜리클레 분포와 교차엔트로피 최적화에서 발생하는 체계적 편향과 수치적 불안정성을 해결하기 위해.
• 딥 신경망과 같은 비선형 회귀 함수를 지원하는 잘 정의된 확률 모델을 개발하기 위해.
• 0값 관측치가 있는 경우에도 우도가 붕괴되지 않도록 하며 편향 없는 추정기를 생성하기 위해.
• 닫힌형 정규화 상수를 제공하고 변분 추론에 활용 가능한 재정의 기법을 통한 효율적 샘플링을 가능하게 하기 위해.
• 모의 실험, 선거 모델링, 신경망 퇄련 작업을 포함한 실증적 검증을 수행하기 위해.

제안 방법

• 단순체 위에 정의된 단일 농도 매개변수를 가진 연속적 순서형(CC) 분포를 제안하며, 이는 연속적 베르누이의 다변량 일반화이다.
• 충분통계량을 사용하여 CC의 로그우도를 유도함으로써 최대우도추정의 편향 없는 성질을 보장한다.
• 기본 함수를 사용한 닫힌형 정규화 상수를 도입하여 딜리클레 모델에서 흔히 발생하는 수치적 문제를 피한다.
• 다양한 확률 모델에 적용 가능한 재정의 기법과 호환되는 거절 샘플링 알고리즘을 개발한다.
• CC를 신경망 퇄련에서 우도로 적용하여 교차엔트로피를 적절한 확률적 목표로 대체한다.
• 다양한 설정에서 테스트 정확도, RMSE, 최적화 안정성 측면에서 CC를 딜리클레 및 교차엔트로피 목표와 비교한다.

실험 결과

연구 질문

• RQ1 딜리클레 분포의 수치적·통계적 단점들을 피할 수 있는 단순체 위의 새로운 지수족를 구성할 수 있는가?
• RQ2 연속적 순서형 분포는 극단적 관측치가 있는 경우에도 편향 없는 추정기를 생성하고 수치적 안정성을 유지하는가?
• RQ3 CC는 계산의 타당성을 유지하면서도 딥 신경망과 같은 비선형 모델을 지원할 수 있는가?
• RQ4 모델 퇄련 및 구성 데이터 모델링에서 CC는 교차엔트로피 및 딜리클레 우도와 비교해 실증적으로 어떻게 성능을 내는가?
• RQ5 CC는 다자간 선거 예측 및 신경망 압축과 같은 후행 작업에서 더 나은 최적화 지형과 일반화 성능을 제공하는가?

주요 결과

• 신경망 퇄련에서 연속적 순서형 모델은 교차엔트로피 기준(94.9%)과 딜리클레 우도(90.6%)를 능가하는 95.6%의 테스트 정확도를 달성했다.
• 부드러운 타겟에 대한 회귀 분석에서 CC 목표는 RMSE를 0.024로 줄였고, 교차엔트로피 기준은 0.029, 딜리클레 우도는 0.041이었다.
• 특히 낮은 온도 조건에서 딜리클레 우도가 극단적인 부드러운 타겟으로 인해 수치적 오버플로우를 겪는 등 CC 모델은 최적화 안정성이 뛰어났다.
• 0값 관측치가 있는 경우에도 CC 모델의 로그우도는 붕괴되지 않으며, 이는 딜리클레 분포와는 대조적으로 안정성을 유지함을 의미한다.
• 충분통계량 덕분에 CC 모델은 최대우도 원칙에 부합하는 편향 없는 추정기를 제공한다.
• 잠재변수 모델링(예: 토픽 모델링)에서는 유사한 성능를 보였지만, 다항우도와의 조합에서 후행분포가 비계산 가능하여 이는 주요 한계로 지적된다.