[논문 리뷰] Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures

Lin Wu, Mohammad Emtiyaz Khan외 1명|arXiv (Cornell University)|2019. 10. 29.

Analytic Number Theory Research참고 문헌 21인용 수 8

한 줄 요약

이 논문은 스위너의 보조정리를 지수족 혼합 분포, 특히 전체 공분산을 가진 가우시안 혼합 분포로 일반화하여, 약한 미분 가능성 조건 하에서도 재매개변수화 기울기 추정을 위한 통합 프레임워크를 제공한다. 이는 스위너의 보조정리와 재매개변수화 기법 사이의 직접적인 연결을 수립하며, 다변수 t분포, 비대칭 가우시안, 정규 역분포환 등의 분포에 대해 새로운 기울기 항등식을 유도하여 이전 연구의 한계를 초월한다.

ABSTRACT

Stein's method (Stein, 1973; 1981) is a powerful tool for statistical applications and has significantly impacted machine learning. Stein's lemma plays an essential role in Stein's method. Previous applications of Stein's lemma either required strong technical assumptions or were limited to Gaussian distributions with restricted covariance structures. In this work, we extend Stein's lemma to exponential-family mixture distributions, including Gaussian distributions with full covariance structures. Our generalization enables us to establish a connection between Stein's lemma and the reparameterization trick to derive gradients of expectations of a large class of functions under weak assumptions. Using this connection, we can derive many new reparameterizable gradient identities that go beyond the reach of existing works. For example, we give gradient identities when the expectation is taken with respect to Student's t-distribution, skew Gaussian, exponentially modified Gaussian, and normal inverse Gaussian.

연구 동기 및 목표

• 약한 미분 가능성 조건 하에서 스위너의 보조정리를 지수족 혼합 분포, 특히 전체 공분산을 가진 가우시안 혼합 분포로 일반화한다.
• 기울기 추정을 위한 스위너의 보조정리와 재매개변수화 기법 사이의 공식적 연결을 수립한다.
• 다변수 t분포, 비대칭 가우시안, 정규 역분포환 등의 복잡한 분포에 대해 새로운 기울기 항등식을 도출한다.
• 이전 연구에서의 가정을 완화함으로써 암묵적 재매개변수화의 이론적 기초를 제공한다.
• 가우시안 분산-평균 혼합 근사에 기반한 더 강력하고도 융통성 있는 변분 추론을 가능하게 한다.

제안 방법

• 스위너의 보조정리를 가우시안 분포를 초월해 일반화하기 위해 국소적으로 절대연속(지역 AC) 함수를 부드러움 조건으로 도입한다.
• 국소적으로 절대연속 함수에 대해 부분적 적분과 미적분학의 기본정리를 사용하여 일阶 항등식을 유도한다.
• 특히 임의의 공분산 행렬을 가진 가우시안 혼합 분포를 포함한 지수족의 계층적 혼합에 이 항등식을 적용한다.
• 스위너의 보조정리를 통해 기대값의 기울기와 스코어 함수 사이의 연결을 수립하여 암묵적 재매개변수화를 가능하게 한다.
• 이 항등식을 사용하여 스튜던트의 t분포나 비대칭 가우시안와 같은 비가우시안 분포 하에서 기대값에 대한 닫힌 형태의 기울기 표현을 도출한다.
• 이론적 유도와 예시를 통해 프레임워크를 검증하여 변분 추론에의 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 약한 부드러움 조건 하에서 스위너의 보조정리를 지수족 혼합 분포, 특히 전체 공분산을 가진 가우시안 혼합 분포로 일반화할 수 있는가?
• RQ2 스위너의 보조정리를 재매개변수화 기법과 연결하여 복잡한 분포에 대한 기울기 추정을 어떻게 가능하게 할 수 있는가?
• RQ3 이 일반화된 프레임워크를 통해 비가우시안, 꼬리가 두꺼운, 또는 비대칭 분포에 대해 어떤 새로운 기울기 항등식을 도출할 수 있는가?
• RQ4 이 접근법을 사용하여 이전 연구보다 더 약한 가정 하에서도 암묵적 재매개변수화 기법을 정당화할 수 있는가?
• RQ5 이 프레임워크는 가우시안 분산-평균 혼합 근사에 기반한 변분 추론에 어떤 영향을 미치는가?

주요 결과

• 논문은 약한 부드러움 조건 하에서 지수족 혼합 분포, 특히 전체 공분산을 가진 가우시안 혼합 분포로 스위너의 보조정리를 성공적으로 일반화하였다.
• 스위너의 보조정리와 재매개변수화 기법 사이에 직접적인 이론적 연결을 수립하여, 광범위한 함수 클래스에 대한 기울기 추정을 가능하게 하였다.
• 다변수 t분포, 비대칭 가우시안, 지수적으로 수정된 가우시안, 정규 역분포환 분포에 대해 새로운 기울기 항등식을 도출하였다.
• 이 프레임워크는 이전 연구들(예: Salimans & Knowles, 2013; Figurnov et al., 2018)보다 더 약한 가정 하에서도 암묵적 재매개변수화를 가능하게 하였다.
• 유도된 항등식이 Lin 등(2019)에서 보여준 lin 등(2019)에서 보여준 바와 같이, 가우시안 분산-평균 혼합 근사에 기반한 변분 추론에서 유용하다는 것이 입증되었다.
• 이 방법은 다양한 지수족 혼합 분포에 걸쳐 기울기 추정을 위한 통합적이고 이론적으로 탄탄한 접근법을 제공한다.