[논문 리뷰] Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood

Kohei Hayashi, Shin‐ichi Maeda외 1명|arXiv (Cornell University)|2015. 04. 22.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 7

한 줄 요약

이 논문은 잠재변수모델(LVMs)에 대한 우도의 점근적 정확한 근사인 일반화된 인수분해정보기준(gFIC)을 제안한다. 이는 원래의 FIC가 이진 LVM에 국한되어 있었음을 고려할 때, 연속형 및 일반적인 LVM으로 확장한 것이다. FIC를 변분 자유에너지로 재해석하고 헤시안 기반의 페널티 항을 도입함으로써, gFIC는 일괄적이고 일관된 모델 선택을 가능하게 하며, 임의의 잠재차원을 자동으로 제거한다. 이는 이론적 분석과 베이지안 주성분분석에서의 수치 실험을 통해 검증되었다.

ABSTRACT

Factorized information criterion (FIC) is a recently developed approximation technique for the marginal log-likelihood, which provides an automatic model selection framework for a few latent variable models (LVMs) with tractable inference algorithms. This paper reconsiders FIC and fills theoretical gaps of previous FIC studies. First, we reveal the core idea of FIC that allows generalization for a broader class of LVMs, including continuous LVMs, in contrast to previous FICs, which are applicable only to binary LVMs. Second, we investigate the model selection mechanism of the generalized FIC. Our analysis provides a formal justification of FIC as a model selection criterion for LVMs and also a systematic procedure for pruning redundant latent variables that have been removed heuristically in previous studies. Third, we provide an interpretation of FIC as a variational free energy and uncover a few previously-unknown their relationships. A demonstrative study on Bayesian principal component analysis is provided and numerical experiments support our theoretical results.

연구 동기 및 목표

• 원래의 인수분해정보기준(FIC)이 이진 잠재변수모델(LVMs)에 국한되어 있었고, 모델 선택에 대한 공식적 근거가 부족한 이론적 격차를 보완하기 위함.
• 이진 또는 연속형 잠재변수를 포함한 더 넓은 범주인 LVM에 FIC를 일반화함으로써, 이전 FIC 수식이 복잡성 페널티 적용에 부적합한 연속형 또는 비이진 LVM에서는 실패하는 문제를 해결하기 위함.
• gFIC가 점근적 행동을 분석하고 변분 추론 및 자유에너지 원리와 연결함으로써, FIC가 일관된 모델 선택 기준으로서 공식적인 이론적 기반을 제공하기 위함.
• gFIC 목적함수에 기반한 체계적이고 히우리스틱이 없는 잠재변수의 불필요한 차원을 제거하는 절차를 개발하여, 이전 연구에서 사용된 부호화된 제거 전략을 대체하기 위함.
• 베이지안 주성분분석에서의 수치 실험을 통해 실증적으로 방법을 검증하고, BIC, VB, EM과 비교하여 일관성과 계산 효율성을 입증하기 위함.

제안 방법

• gFIC는 잠재변수의 사후분포 하에서의 기대우도에 엔트로피와 헤시안 기반 페널티 항을 더한 것으로, 우도의 근사값으로 정의된다.
• 모델 파라미터에 대한 각 데이터 포인트의 음의 로그우도의 헤시안 행렬을 사용하여 페널티 항을 유도함으로써, 특이 모델에서의 점근적 정확성을 보장한다.
• gFIC를 변분 자유에너지로 재해석함으로써, 변분 베이즈와의 공식적 연결을 제공하고, 페널티 항이 모델 복잡성의 척도로 작용하는 이유를 원리적으로 설명한다.
• gFIC를 최대화하기 위해 EM 유사 반복 최적화 절차(gFAB)를 적용함으로써, 특이한 잠재차원을 자동으로 식별하고 제거함으로써 일괄적 모델 선택을 가능하게 한다.
• 라플라스 방법을 사용하여 우도를 근사함으로써, 원래 FIC에서 사용된 이산적 수의 페널티를 피셔 정보행렬 기반의 연속적이고 기하학적 인식 페널티로 대체한다.
• 고차원 잠재공간에서 시작하는 일괄 알고리즘을 사용하며, gFIC 목적함수에 따라 유효표본 크기가 낮은 차원을 반복적으로 제거한다.

실험 결과

연구 질문

• RQ1 특이한 잠재변수모델에서 FIC가 진정한 잠재차원 수를 일관되게 추정하기 위해 필요한 이론적 조건은 무엇인가?
• RQ2 기존의 이산적 수 기반 페널티가 더 이상 적용되지 않는 연속형 또는 비이진 잠재변수모델로 FIC를 어떻게 일반화할 수 있는가?
• RQ3 FIC와 변분 자유에너지 사이의 공식적 연결은 무엇이며, 이 관계는 모델 선택과 복잡성 정규화에 어떻게 기여하는가?
• RQ4 gFIC는 다중 K 값에 대한 반복적 모델 비교가 필요 없이 일괄적이고 일관된 모델 선택 절차를 제공할 수 있는가?
• RQ5 베이지안 주성분분석과 같은 실제 LVM에서 gFIC의 정확도, 안정성, 계산 비용 측면에서 BIC, VB, EM과 비교해 볼 때의 성능은 어떠한가?

주요 결과

• gFIC는 연속형 및 특이 모델을 포함한 광범위한 LVM 클래스에 대해 우도의 점근적 정확한 근사를 제공하며, 원래 FIC의 범위를 초월한다.
• gFIC의 헤시안 기반 페널티 항은 정규성 조건 하에서 진정한 우도와 일관성을 유지하며, FIC를 타당한 모델 선택 기준으로 공식화한다.
• gFIC는 변분 자유에너지로 해석될 수 있으며, 이는 FIC와 변분 추론 사이의 깊은 연결을 드러내며, 그 정규화 행동을 설명한다.
• 베이지안 주성분분석에서의 수치 실험 결과, gFAB(gFIC 최적화 알고리즘)는 N≥500일 때 진짜 잠재차원 수 K=10을 성공적으로 복원하며, EM과 VB2보다 일관성 있는 성능을 보였다.
• gFAB는 다중 K 값에 대한 평가가 필요 없이 자동으로 불필요한 차원을 제거함으로써 일괄적 모델 선택을 달성한다. 이는 BICEM 및 표준 VB 방법과는 달리, 반복적인 비교가 필요하지 않다는 점에서 유리하다.
• VB2는 추가적인 하이퍼파rameter와 사전분포로 인해 초기화에 매우 민감하고 안정성이 떨어지며, 특히 N이 작을 경우 문제가 발생하지만, gFAB는 N이 증가함에 따라 안정적이고 일관된 성능을 유지한다.