[논문 리뷰] On the Model Shrinkage Effect of Gamma Process Edge Partition Models

Iku Ohama, Issei Sato외 2명|arXiv (Cornell University)|2017. 09. 26.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 3

한 줄 요약

이 논문은 감마 프로세스 사전분포를 사용하는 엣지 분할 모델(EPM)의 모델 수축 메커니즘에 임계적인 결함이 있음을 규명한다. 특히 감마 초모수의 영향으로 내부 감마 프로세스의 자동 원자 제거 기능이 손상된다. 이를 해결하기 위해 저자는 두 가지 개선된 모델—제약된 감마 사전분포를 사용하는 CEPM과 딜레트 분포를 사용하는 DEPM—을 제안한다. 이로 인해 무한 원자의 완전한 주변화가 가능해져, 완전히 무한한 IDEPM 모델을 도출할 수 있으며, 이는 축약된 깁스 샘플링을 통해 링크 예측, 수렴 속도, 혼합 효율성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The edge partition model (EPM) is a fundamental Bayesian nonparametric model for extracting an overlapping structure from binary matrix. The EPM adopts a gamma process ($Γ$P) prior to automatically shrink the number of active atoms. However, we empirically found that the model shrinkage of the EPM does not typically work appropriately and leads to an overfitted solution. An analysis of the expectation of the EPM's intensity function suggested that the gamma priors for the EPM hyperparameters disturb the model shrinkage effect of the internal $Γ$P. In order to ensure that the model shrinkage effect of the EPM works in an appropriate manner, we proposed two novel generative constructions of the EPM: CEPM incorporating constrained gamma priors, and DEPM incorporating Dirichlet priors instead of the gamma priors. Furthermore, all DEPM's model parameters including the infinite atoms of the $Γ$P prior could be marginalized out, and thus it was possible to derive a truly infinite DEPM (IDEPM) that can be efficiently inferred using a collapsed Gibbs sampler. We experimentally confirmed that the model shrinkage of the proposed models works well and that the IDEPM indicated state-of-the-art performance in generalization ability, link prediction accuracy, mixing efficiency, and convergence speed.

연구 동기 및 목표

• 표준 EPM에서 감마 프로세스 사전분포를 사용함에도 불구하고 모델 수축 효과가 제대로 작동하지 않는 이유를 진단하기 위해.
• 근본 원인 규명: 내부 감마 프로세스의 수축 메커니즘을 방해하는 EPM 초모수에 대한 감마 사전분포의 영향을 규명하기 위해.
• 수축 메커니즘을 복원하기 위해 사전 분포 의존성 재정의를 통해 새로운 생성 모형—CEPM 및 DEPM—을 제안하기 위해.
• 모든 매개변수(무한 원자 포함)를 주변화할 수 있는 진정으로 무한한 DEPM의 확장형인 IDEPM 모델을 개발하기 위해.
• 제안된 모델이 일반화 능력, 링크 예측 정확도, 혼합 효율성, 수렴 속도에서 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 초모수의 영향을 내부 감마 프로세스에서 분리하기 위해 제약된 감마 사전분포를 사용하는 CEPM을 제안하여, 수축이 감마 프로세스에만 의존하도록 보장하기 위해.
• EPM의 잠재 요인에 감마 초모수 대신 딜레트 사전분포를 도입하여 DEPM을 제안함으로써 완전한 공액성과 주변화를 가능하게 하였다.
• 모든 매개변수, 특히 감마 프로세스의 무한 원자를 통합함으로써 DEPM의 폐쇄형 주변 가능도를 유도하고, 이를 통해 IDEPM을 도출하였다.
• 모든 모델 매개변수(무한 원자 및 초모수 포함)를 주변화하여 IDEPM용 축약된 깁스 샘플러를 구현하였다.
• 공액 사전분포와 조건부 분포를 활용하여 후행 추론을 효율적으로 수행하였으며, 초모수 α₁, α₂, γ₀, c₀의 샘플링도 가능하게 하였다.
• 요인 행렬에 대한 l₁-제약 조건을 활용하여 주변 가능도를 단순화하고, 무한한 극한에서도 계산 가능성을 보장하였다.

실험 결과

연구 질문

• RQ1 표준 EPM는 감마 프로세스 사전분포를 사용하고도 왜 제대로 된 모델 수축을 달성하지 못하는가?
• RQ2 EPM 초모수에 대한 감마 사전분포는 내부 감마 프로세스의 수축 효과에 어떻게 간섭하는가?
• RQ3 수정된 EPM 구조를 통해 기대되는 활성 원자 수가 유한하고 데이터 적응형이 될 수 있는가?
• RQ4 EPM 프레임워크에서 감마 프로세스의 무한 원자를 완전히 주변화할 수 있는가?
• RQ5 결과적으로 도출된 진정으로 무한한 모델(IDEPM)은 추론 효율성과 예측 성능에서 기존 모델을 초월하는가?

주요 결과

• EPM의 모델 수축 실패 원인은 감마 초모수의 영향으로, 이는 감마 프로세스 강도와 곱해져 활성 원자의 기대 수를 왜곡하기 때문이다.
• EPM의 강도 함수 기대값은 감마 프로세스와 초모수 모두에 의존하므로, 활성 원자의 수가 유한함을 보장할 수 없다.
• 제안된 CEPM 및 DEPM 모델은 강도 함수가 감마 프로세스 사전분포에만 의존하도록 함으로써 적절한 수축을 복원한다.
• DEPM는 모든 매개변수(무한 원자 포함)를 완전히 주변화할 수 있어, 폐쇄형 주변 가능도를 가지며 진정으로 무한한 모델(IDEPM)을 가능하게 한다.
• IDEPM 모델은 시뮬레이션 및 실세계 데이터에서 링크 예측 정확도, 일반화 능력, 혼합 효율성, 수렴 속도에서 최신 기술 수준의 성능을 달성한다.
• IDEPM용 축약된 깁스 샘플러는 공액 후행 업데이트를 통해 모든 잠재 변수 및 초모수(γ₀ 및 c₀ 포함)를 효율적으로 추론한다.