[논문 리뷰] Composite Logconcave Sampling with a Restricted Gaussian Oracle

Ruoqi Shen, Kevin Tian외 1명|arXiv (Cornell University)|2020. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 $f$가 잘 조절된 함수이고 $g$는 볼록이지만 가능하면 미분 가능하지 않은 경우의 복합 로그볼록 분포 $\pi(x) \propto \exp(-f(x) - g(x))$에서 근사적으로 샘플링하는 알고리즘인 Composite-Sample을 제안한다. 이 방법은 $g$에 대한 제한된 가우시안 오라클과 $f+g$의 최소화자에의 접근을 활용하여, 총 변동 거리의 $\epsilon$-정확도에 대해 $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$의 런타임을 달성하며, 이는 이전의 복합 샘플링 기준보다 크게 향상시킨다.

ABSTRACT

We consider sampling from composite densities on $\mathbb{R}^d$ of the form $dπ(x) \propto \exp(-f(x) - g(x))dx$ for well-conditioned $f$ and convex (but possibly non-smooth) $g$, a family generalizing restrictions to a convex set, through the abstraction of a restricted Gaussian oracle. For $f$ with condition number $κ$, our algorithm runs in $O \left(κ^2 d \log^2 frac{κd}ε ight)$ iterations, each querying a gradient of $f$ and a restricted Gaussian oracle, to achieve total variation distance $ε$. The restricted Gaussian oracle, which draws samples from a distribution whose negative log-likelihood sums a quadratic and $g$, has been previously studied and is a natural extension of the proximal oracle used in composite optimization. Our algorithm is conceptually simple and obtains stronger provable guarantees and greater generality than existing methods for composite sampling. We conduct experiments showing our algorithm vastly improves upon the hit-and-run algorithm for sampling the restriction of a (non-diagonal) Gaussian to the positive orthant.

연구 동기 및 목표

• 잘 조절된 함수 $f$와 볼록이지만 가능하면 미분 가능하지 않은 함수 $g$의 합으로 이루어진 복합 로그볼록 분포에 대한 샘플링 알고리즘을 개발하는 것.
• 비가역성 또는 비미분 가능성을 다루기 위한 자연스러운 추상화로 제한된 가우시안 오라클을 도입하여, 잘 조절된 경우를 초월한 로그볼록 샘플링 도구를 확장하는 것.
• 비복합 샘플링 방법과 경쟁 가능한 런타임 보장을 확보하면서도, 오라클 및 최소화자 접근의 비정확성에 대해 일반성과 강건성을 유지하는 것.
• 제한된 가우시안 오라클이 복합 샘플링에 실용적이고 강력한 기본 요소임을 보여주며, 효율적이고 개념적으로 경량화된 감소를 가능하게 하는 것.

제안 방법

• 알고리즘은 $\exp(-\|x - v\|^2 / (2\lambda) - g(x))$ 비례 분포에서 샘플링하는 제한된 가우시안 오라클을 사용하여 복합 잠재함수 하에서 효율적인 샘플링을 가능하게 한다.
• 복합 샘플링 문제를 제한된 가우시안 샘플링과 $f$의 기울기 질의의 반복적 시퀀스로 감소시키며, 수렴을 추적하기 위해 리아푸노프 함수를 사용한 신중히 설계된 반복적 기법을 사용한다.
• 시간에 따라 변화하는 온도 매개변수 $\alpha$를 도입하여 샘플링 분포를 점진적으로 정밀화함으로써 안정성과 수렴성을 보장한다.
• 핵심 기술적 구성 요소로는 국소 영역에서 $f$에 대한 이차 근사 사용으로, 통제된 오차를 가진 랭지에르 유사 확산을 시뮬레이션할 수 있도록 한다.
• 최소화자 $x^*$와 오라클 호출의 비정확성에 대해, 역다항식 오차에 대해 강건함을 보이며, 이에 따른 경계는 상수 요인 외에는 영향을 받지 않는다.
• 이론적 분석은 리아푸노프 함수와 미분 부등식의 논증을 기반으로 하여 목표 분포와의 거리 변화율을 제한한다.

실험 결과

연구 질문

• RQ1 비미분 가능 성분 $g$에 대한 제한된 가우시안 오라클과 $f+g$의 최소화자에의 접근만을 사용하여 복합 로그볼록 분포에 대해 효율적인 샘플링 알고리즘을 설계할 수 있는가?
• RQ2 표준 1차 또는 0차 오라클에 비해 복합 문제에서 제한된 가우시안 오라클은 샘플링 효율성과 일반성 측면에서 어떻게 비교되는가?
• RQ3 최소한의 가정 하에 복합 로그볼록 샘플링의 최적 런타임 복잡도는 무엇이며, 비복합 샘플링의 최고 기준에 도달하거나 근접할 수 있는가?
• RQ4 알고리즘이 $f+g$의 비정확한 최소화 및 제한된 가우시안 오라클의 근사적 구현에 대해 어느 정도 강건한가?

주요 결과

• Composite-Sample 알고리즘은 $\kappa$가 $f$의 조건수일 때, 총 변동 거리의 $\epsilon$-정확도에서 $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$의 런타임을 달성한다.
• 알고리즘은 각 반복에서 $f$의 기울기 오라클과 제한된 가우시안 오라클에 대해 일정한 기대값의 질의 수만 필요로 한다.
• 최소화자 $x^*$와 제한된 가우시안 오라클 양쪽 모두에 대해 역다항식 오차에 대해 강건하며, 경계는 상수 요인 외에는 영향을 받지 않는다.
• 분석을 통해 리아푸노프 함수를 사용한 거리의 미분 부등식을 수립하여 $\tilde{O}(\kappa^2 d)$의 런타임 경계를 도출한다.
• 특히 $g$가 비미분 가능하거나 구조적일 경우(예: $\ell_1$-정규화)에 이전의 복합 샘플링 방법보다 일반성과 런타임 측면에서 모두 향상된다.
• $d=10$에서 거부 샘플링을 통한 실험적 검증을 통해 알고리즘의 정확성이 확인되었으며, 투영된 2D 히스토GRAM에서 시각적 일치가 관찰되었다.