[논문 리뷰] The OS* Algorithm: a Joint Approach to Exact Optimization and Sampling

Marc Dymetman, Guillaume Bouchard외 1명|arXiv (Cornell University)|2012. 07. 03.

Machine Learning and Algorithms참고 문헌 19인용 수 9

한 줄 요약

OS* 알고리즘은 기각된 샘플을 이용해 목표 분포에 대한 함수적 상한을 반복적으로 개선함으로써 정확한 최적화와 샘플링을 통합한다. 이는 적응형 기각 샘플링과 A*-스타일 탐색을 결합하여, HMM 및 그래픽 모델과 같은 모델에서 고차원 추론을 효율적으로 가능하게 하며, 기준 방법 대비 최대 10배 빠른 성능 향상을 달성한다.

ABSTRACT

Most current sampling algorithms for high-dimensional distributions are based on MCMC techniques and are approximate in the sense that they are valid only asymptotically. Rejection sampling, on the other hand, produces valid samples, but is unrealistically slow in high-dimension spaces. The OS* algorithm that we propose is a unified approach to exact optimization and sampling, based on incremental refinements of a functional upper bound, which combines ideas of adaptive rejection sampling and of A* optimization search. We show that the choice of the refinement can be done in a way that ensures tractability in high-dimension spaces, and we present first experiments in two different settings: inference in high-order HMMs and in large discrete graphical models.

연구 동기 및 목표

• 고차원 분포에 대해 점점 더 유효한 표본 추출 방법(점근적으로 타당한 표준 MCMC 샘플링)과 느린 고차원에서의 기각 샘플링 간의 비효율성을 해결한다.
• 정확한 최적화와 정확한 샘플링을 동일한 기능적 상한 형식에 기반한 이중 문제로 간주하는 통합 프레임워크를 개발한다.
• 기각된 샘플에서 도출된 증거를 활용해 제안 분포의 상한을 동적으로 개선하여 HMM 및 대규모 이산 그래픽 모델과 같은 고차원 모델에서의 추론 가능성을 확보한다.
• 전역 최적화에 의존하지 않고, 기각에 기반한 局소적이고 적응적인 개선을 통해 기각 샘플링의 수용률을 향상시킨다.

제안 방법

• 비정규화된 목표 밀도 $ p $ 보다 큰 제안 분포 $ q $ 를 사용하여 정확한 샘플링이 가능한 기각 샘플링을 가능하게 한다.
• 각 기각 이후, 기각된 점 $ x $ 에서의 간격 $ q(x) - p(x) $ 가 암시하는 부드러운 제약 조건을 식별하고 이를 $ q $ 에 통합하여 $ q' $ 을 형성함으로써 $ q $ 를 적응적으로 개선한다.
• 샘플링의 경우, 상한 $ q $ 의 $ L_1 $-노름을 최소화하여 수용률을 향상시키고, 최적화의 경우, 최대값에 대한 상한을 향상시키기 위해 $ L_\infty $-노름을 최소화한다.
• 각 개선 단계에서 제안 분포에서 샘플링하거나 최대화하기 위해 동적 프로그래밍 또는 저복잡도 추론 절차를 활용한다.
• 기각 이력을 활용해 개선을 이끌어내며, $ q $ 가 너무 느슨한 영역을 우선순위로 삼아, 개선이 효과적이고 계산적으로 효율적이도록 한다.
• 총 $ n $ 개의 점을 샘플링하는 데 예상 소요 시간을 $ \hat{\tau}^{\textrm{tot}}_{T} = \frac{n\tau_{T}^{\textrm{samp}}}{\hat{\pi}_{T}} + \tau_{T}^{\textrm{ref}} $ 로 추정하여, 개선의 적응적 정지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기능적 상한을 기반으로 하여 정확한 최적화와 정확한 샘플링을 통합하는 단일 알고리즘이 가능할 수 있는가?
• RQ2 정확성을 유지하면서도 고차원 공간에서 기각 샘플링을 효율적으로 수행할 수 있는가?
• RQ3 전역 최적화에 의존하는 개선 후보의 최적화보다 기각된 샘플을 활용해 제안 상한을 더 효과적으로 적응적으로 개선할 수 있는가?
• RQ4 개선 전략이 고차원 모델에서의 총 계산 시간에 미치는 영향은 어떠한가?
• RQ5 OS* 프레임워크는 고차원 HMM 및 대규모 그래픽 모델의 정확한 디코딩에서 최첨단 성능을 달성할 수 있는가?

주요 결과

• OS* 알고리즘은 기각된 샘플을 기반으로 한 적응적 개선 덕분에, 기준 방법 대비 대규모 이산 그래픽 모델에서 샘플링 속도를 최대 10배 향상시킨다.
• 기각된 점에서만 개선하는 정책(ii)이 총 계산 시간 최적화를 달성하여, 모든 후보에 대한 전역 $ L_p $-노름 최적화에 기반한 전략보다 뛰어난 성능을 보였다.
• 최고의 수용률 정책(iv)는 정책(ii)보다 총 소요 시간이 더 길었으며, 이는 개선 비용이 무시할 수 없는 경우, 각 개선 단계에서 수용률을 최대화하는 것이 최적의 전략이 아님을 시사한다.
• n-gram 확률에 대한 변수 순서의 최대 백오프 상한을 적용함으로써 고차원 HMM의 정확한 디코딩에서 최첨단 성능을 달성하였다.
• 동적 프로그래밍 절차를 통해 $ L_1 $-노름(샘플링) 및 $ L_\infty $-노름(최적화) 개선을 모두 지원하는 통합 프레임워크를 제공한다.
• 특히 고차원 공간에서 전체 잠재적 일보 개선 후보를 평가하는 것보다 기각에 기반한 적응적 개선이 계산적으로 더 유리함을 입증하였다.