[논문 리뷰] Relaxations for inference in restricted Boltzmann machines

Sida I. Wang, Roy Frostig외 2명|arXiv (Cornell University)|2013. 12. 21.

Machine Learning and Algorithms참고 문헌 7인용 수 3

한 줄 요약

이 논문은 제한된 볼츠만 기계(RBMs)에서 근사 MAP 추론을 위한 랜덤화된 릴랙스-라운드 알고리즘을 제안한다. 저랭크 정수형 준거(LRP_k)를 사용하여 효율성과 정확성의 균형을 이루며, 국소 최적점에서 벗어나는 데서 애너일드 깁스 샘플링보다 뛰어난 성능을 보이며, 중요도 샘플링을 통해 효과적인 로그-파트리션 함수 추정이 가능하다. 실험 결과로는 MNIST와 합성 RBMs에서 경쟁적인 성능을 보였다.

ABSTRACT

We propose a relaxation-based approximate inference algorithm that samples near-MAP configurations of a binary pairwise Markov random field. We experiment on MAP inference tasks in several restricted Boltzmann machines. We also use our underlying sampler to estimate the log-partition function of restricted Boltzmann machines and compare against other sampling-based methods.

연구 동기 및 목표

• Gibbs 샘플링에서 흔히 발생하는 국소 최적점 문제를 피할 수 있는 확장 가능하고 정확한 추론 방법을 개발하는 것.
• SDP와 같은 볼록 준거와 QP와 같은 비볼록 준거 사이의 격차를 메우기 위해 조정 가능한 너비 k를 가진 저랭크 준거(LRP_k)를 도입하는 것.
• 제안된 샘플러를 제안 분포로 사용하여 RBMs에서의 로그-파트리션 함수를 효율적으로 추정하는 것.
• 실제 데이터 및 합성 RBM 벤치마크에서 애너일드 깁스와 중요도 샘플링과의 비교를 통해 방법의 성능을 평가하는 것.

제안 방법

• 이 방법은 저랭크 정수형 준거(LRP_k)를 사용하며, 최적화 문제는 각 행 i에 대해 ||X_i||_2 ≤ 1 조건 하에 tr(X^T A X)를 최대화하는 방식으로 설정된다.
• 랜덤라이즈드 라운딩을 적용한다: 단위 구면에서 무작위 벡터 g를 추출하고, 최종 이진 구성은 x_i = sign(X_i^T g)를 통해 얻는다.
• 알고리즘은 LRP_2(k=2)로 초기화하고, 국소적으로 최적의 X를 찾기 위해 투영된 경사하강법을 사용한다.
• 로그-파트리션 추정을 위해 중요도 샘플링을 사용하며, rrr-MAP 샘플러를 제안 분포로 사용한다. Z(A) ≈ E[exp(x^T A x)/p_X(x)]를 10,000개의 샘플에 대해 계산한다.
• p_X(x)는 X의 행 벡터를 각도 기준으로 정렬함으로써 O(n) 시간 내에 효율적으로 계산되며, 이는 O(n log n) 전처리를 거친 후 이루어진다.
• 이 방법은 MAP 추론과 로그-파트리션 추정에 모두 적용되며, MNIST와 합성 RBMs에서 애너일드 깁스와 AIS와의 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 저랭크 준거(LRP_k)는 RBMs에서의 MAP 추론에 있어 전체 SDP나 QP 준거보다 계산 효율성과 해 품질 사이의 균형을 더 잘 제공할 수 있는가?
• RQ2 LRP_k 해의 랜덤라이즈드 라운딩이 국소 최적점에서 벗어나기 위해 애너일드 깁스 샘플링보다 우수한 근사-MAP 구성(configuration)을 제공하는가?
• RQ3 rrr-MAP 샘플러는 RBMs의 로그-파트리션 함수를 추정하기 위한 중요도 샘플링의 효과적인 제안 분포로 기능할 수 있는가?
• RQ4 rrr-MAP 방법의 성능은 RBM 크기와 너비 k가 증가함에 따라 어떻게 변화하는가?

주요 결과

• MNIST 데이터셋에서 rrr-MAP 샘플러는 로그-파트리션 추정치 438.40을 기록했으며, AIS(436.37)와 rrr-low(436.69)를 모두 능가했다.
• 작은 RBM(Random-S)에 대해 rrr-IS는 로그 Z를 5092.4로 추정했으며, 진짜 값 5127.6과 유사하여 작은 인스턴스에서의 정확성을 입증했다.
• rrr-MAP 샘플러는 로그 Z의 하한값(rtt-low)으로 436.69를 제공했으며, 이는 AIS의 추정치 436.37보다 더 날카로운 하한이므로 샘플링 품질 향상을 시사한다.
• 이 방법은 국소 탐색 알고리즘의 초기화에 성공적으로 활용되었으며, rrr-MAP나 국소 탐색만을 사용한 경우보다 더 좋은 결과를 도출했다.
• 큰 RBMs에 대해서는 rrr-MAP가 Gurobi보다 훨씬 빠르며, 10배의 시간 제한 동안에도 해 품질에서 승리했다.
• 간단한 구조임에도 불구하고 rrr-MAP 샘플러는 경쟁 가능한 로그-파트리션 추정치를 제공했지만, 낮은 k 설정에서 지원의 희박성으로 인해 중요도 샘플링 성능은 제한을 받았다.