[논문 리뷰] A New Unbiased and Efficient Class of LSH-Based Samplers and Estimators for Partition Function Computation in Log-Linear Models

Ryan Spring, Anshumali Shrivastava|arXiv (Cornell University)|2017. 03. 15.

Machine Learning and Algorithms참고 문헌 18인용 수 24

한 줄 요약

이 논문은 로그선형 모델에서 분할 함수 계산을 위한 효율적인 샘플링 및 비편향 추정 프레임워크를 제안한다. 국소성에 민감한 해싱(LSH)을 활용해 근사적으로 일정한 시간 내에 상관관계가 있는 비정규화된 샘플을 생성함으로써, 이는 하위선형 시간 복잡도를 달성하고 표준 중요도 샘플링 및 Gumbel-Max 변형보다 정확도와 속도 면에서 뛰어나며, 원래 계산의 1–2%만으로도 대규모 언어 모델의 훈련을 가능하게 한다.

ABSTRACT

Log-linear models are arguably the most successful class of graphical models for large-scale applications because of their simplicity and tractability. Learning and inference with these models require calculating the partition function, which is a major bottleneck and intractable for large state spaces. Importance Sampling (IS) and MCMC-based approaches are lucrative. However, the condition of having a "good" proposal distribution is often not satisfied in practice. In this paper, we add a new dimension to efficient estimation via sampling. We propose a new sampling scheme and an unbiased estimator that estimates the partition function accurately in sub-linear time. Our samples are generated in near-constant time using locality sensitive hashing (LSH), and so are correlated and unnormalized. We demonstrate the effectiveness of our proposed approach by comparing the accuracy and speed of estimating the partition function against other state-of-the-art estimation techniques including IS and the efficient variant of Gumbel-Max sampling. With our efficient sampling scheme, we accurately train real-world language models using only 1-2% of computations.

연구 동기 및 목표

• 거대한 상태 공간을 가진 대규모 로그선형 모델에서 분할 함수 추정의 계산 병목 현상을 해결한다.
• 제안된 중요도 샘플링 및 Gumbel-Max 방법의 한계를 극복한다. 이는 제안 분포가 부적절하여 높은 분산 또는 낮은 정확도를 유발하기 때문이다.
• 국소성에 민감한 해싱(LSH)을 사용해 평균적으로 하위선형 시간 내에 증명 가능한 비편향 추정기를 개발한다.
• 제안된 방법이 실제 언어 모델의 정확한 훈련을 극도로 감소된 계산 비용으로 가능하게 함을 보여준다.
• 산업 규모의 머신러닝 응용 분야에 실용적이고 정확한 확장 가능한 추정기의 새로운 클래스를 확립한다.

제안 방법

• SimHash 기반 LSH를 사용해 각 샘플당 근사적으로 일정한 시간 내에 비정규화된 목표 분포에서 샘플을 생성한다.
• 충돌 확률의 추정치를 사용해 LSH 샘플에 가중치를 부여함으로써 비편향 추정기를 구성한다. 이는 상관관계와 비정규화된 특성에도 불구하고 일관성을 유지한다.
• LSH를 통한 최대 내적 곱 검색(MIPS) 공식화를 활용해 전체 열거 없이도 높은 가중치를 가진 상태를 효율적으로 검색한다.
• LSH 파라미터(K, L)를 조정하고 거부 샘플링을 적용해 원하는 샘플 수를 확보함으로써 샘플 세트 크기를 제어한다.
• 정확한 분할 함수 계산을 대체하기 위해 LSH 기반 추정기를 확률적 경사 하강법에 통합하여 로그선형 모델을 훈련한다.
• 고정된 크기의 샘플 세트와 조정된 중요도 가중치를 사용해 비편향성을 유지하면서도 계산 오버헤드를 통제한다.

실험 결과

연구 질문

• RQ1 LSH 기반 샘플링은 로그선형 모델에서 분할 함수 추정에 있어 표준 중요도 샘플링에 대한 비편향적이고 효율적인 대안이 될 수 있는가?
• RQ2 제안된 방법은 분할 함수 추정에서 높은 정확도를 유지하면서도 하위선형 시간 복잡도를 달성하는가?
• RQ3 정확한 Gumbel-Max 및 근사적 MIPS-Gumbel 방법과 비교할 때, LSH 기반 추정기의 정확도와 속도는 어떠한가?
• RQ4 제안된 추정기는 최소한의 계산 오버헤드로 대규모 언어 모델의 효과적인 훈련을 가능하게 하는가?
• RQ5 샘플 크기와 LSH 파라미터 조정이 분할 함수 추정의 정확도와 효율성에 미치는 영향은 어떠한가?

주요 결과

• LSH 기반 추정기는 샘플당 근사적으로 일정한 시간 내에 샘플링을 수행해 분할 함수의 평균 하위선형 시간 계산을 가능하게 한다.
• PTB 및 Text8 데이터셋에서 LSH 추정기는 정확한 Gumbel 방법과 유사한 정확도(MAE ≈ 91.8 및 140.7)를 달성하면서도 정확한 방법보다 훨씬 빠른 속도를 보였다.
• 균일 중요도 샘플링(IS) 추정기는 높은 분산과 열악한 성능을 보였으며, PTB에서 퍼플렉서티가 524.3에 이르렀다. 이는 불안정성을 잘 보여준다.
• MIPS Gumbel 접근법은 분할 함수 추정의 정확도가 떨어져 훈련 중 발산했으며, 이는 추정기 신뢰성의 중요성을 강조한다.
• LSH 추정기는 훈련 계산을 원래 비용의 단지 1–2%로 줄였고, 퍼플렉서티 결과를 통해 높은 모델 정확도를 유지했다.
• 샘플 크기가 증가함에 따라 LSH 추정기의 MAE는 정확한 Gumbel 방법에 수렴하며, 이는 수렴성과 강건성을 입증한다.