[논문 리뷰] Composite Likelihood Estimation for Restricted Boltzmann machines

Muneki Yasuda, S. Kataoka외 2명|arXiv (Cornell University)|2014. 06. 24.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 k개 변수 블록을 k의 증가 순서로 모두 사용함으로써, 제한된 볼츠만 기계(RBMs) 학습을 위한 체계적인 복합우도(CL) 방법을 제안한다. 이는 CL이 진정한 로그우도로 단조롭게 수렴하도록 보장한다. 이 방법은 가짜우도(pseudo-likelihood)보다 추정 정확도를 향상시키면서도 계산적으로 실현 가능하며, 수치 결과로 제3차 CL이 50,000회 반복 후 정확한 최대우도 성능을 재현함을 보여준다.

ABSTRACT

Learning the parameters of graphical models using the maximum likelihood estimation is generally hard which requires an approximation. Maximum composite likelihood estimations are statistical approximations of the maximum likelihood estimation which are higher-order generalizations of the maximum pseudo-likelihood estimation. In this paper, we propose a composite likelihood method and investigate its property. Furthermore, we apply our composite likelihood method to restricted Boltzmann machines.

연구 동기 및 목표

• 블록 크기가 증가함에 따라 진정한 로그우도로 수렴하도록 보장하는 복합우도 추정을 위한 체계적인 블록 선택 전략을 개발하는 것.
• 기존의 가짜우도 방법을 초월하여 RBMs에서의 파라미터 추정 정확도를 향상시키는 것.
• 고차수 복합우도를 활용하여 RBMs에 대한 최대우도 추정의 계산적으로 실현 가능한 대안을 제공하는 것.
• 합성 데이터를 사용하여 제안된 방법을 경험적으로 검증하고, 정확한 최대우도 및 저차수 CL 방법과의 성능을 비교하는 것.

제안 방법

• 모든 가능한 가시 단위와 은닉 단위의 k변수 부분집합을 블록으로 사용하며, k = 1, 2, ..., n에 대해 가족 𝒞_k를 구성한다.
• 복합우도는 모든 k크기의 블록에 대한 조건부 로그우도의 평균으로 정의되며, 블록 수로의 정규화가 이루어진다.
• 각 블록에서의 조건부 기대값을 사용하여 파라미터 갱신을 위한 기울기를 유도함으로써, 기울기 상승을 통한 효율적 최적화가 가능해진다.
• 이 방법은 k=1일 때의 가짜우도를 일반화하며, k가 증가함에 따라 전체 우도(k=n)에 수렴한다.
• RBMs에 대한 k번째 차수 CL의 기울기를 명시적으로 구성하며, 에너지 함수와 조건부 확률을 포함한다.
• 수치 최적화는 고정 학습률을 사용한 기울기 상승을 적용하며, 알려진 참값이 있는 합성 데이터에 대해 수행된다.

실험 결과

연구 질문

• RQ1 복합우도 추정에서 모든 k변수 블록을 사용할 경우, k가 증가함에 따라 진정한 로그우도로 단조롭게 향상되는가?
• RQ2 RBMs에서 고차수 복합우도의 추정 정확도는 가짜우도 및 정확한 최대우도와 비교해 어떻게 되는가?
• RQ3 제안된 체계적인 블록 선택 전략은 기존의 CL 또는 PL 방법보다 더 나은 파라미터 추정을 제공하는가?
• RQ4 복합우도 프레임워크에서 k를 증가시킬 경우, 계산 비용과 추정 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 50,000회 반복 후 제3차 복합우도 추정은 진정한 로그우도 -1.741을 달성하여 정확한 최대우도 결과와 일치하였다.
• 가중치 파라미터의 평균 절대오차(MAD)는 k=1일 때 0.360에서 k=3일 때 0.103으로 감소하여 고차수 CL에서의 뚜렷한 향상이 확인되었다.
• 제2차 CL 추정은 β에 대해 0.223, w에 대해 0.192의 MAD를 기록하여 제1차 방법 대비 강력한 성능 향상을 보였다.
• 고차수 CL은 제1차 CL보다 빠르게 수렴하고 더 우수한 추정치를 제공하였으며, 제3차 CL은 정확한 최대우도 해에 매우 가까웠다.
• 모든 k크기의 블록을 포함한 복합우도는 진정한 로그우도의 상한선이 되며, k가 증가함에 따라 단조롭게 증가한다.
• k를 선택하는 것으로 계산 비용과 추정 정확도 사이의 조정 가능한 튜닝이 가능해진다.