[논문 리뷰] Generalized Kernel Thinning

Raaz Dwivedi, Lester Mackey|arXiv (Cornell University)|2021. 10. 04.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 5

한 줄 요약

이 논문은 일반화된 커널 토닝(GKT)을 소개한다. 이는 확률적 추론을 향상시키기 위해 확률 분포의 압축된, 낮은 오차를 가진 코어셋 표현을 구성하는 방법이다. 타겟 커널에 직접 커널 토닝을 적용하거나 분수 거듭제곱 커널을 사용함으로써, 차원에 종속되지 않고 몬테카를로 이론을 초월하는 MMD 오차율을 달성한다. 이는 라플라스 및 마르티에른 커널과 같이 부드럽지 않거나 제곱근을 취할 수 없는 비슷한 커널들까지 다양한 커널에서 표준 i.i.d. 샘플링 및 이전의 커널 토닝 방법보다 뛰어난 성능을 보인다. 제안된 KT+ 변형은 두 방법의 장점을 융합하여 넓은 범위의 커널과 분포에 대해 최적의 보장을 제공한다.

ABSTRACT

The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses a probability distribution more effectively than independent sampling by targeting a reproducing kernel Hilbert space (RKHS) and leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target RKHS yields tighter, dimension-free guarantees for any kernel, any distribution, and any fixed function in the RKHS. Second, we show that, for analytic kernels like Gaussian, inverse multiquadric, and sinc, target KT admits maximum mean discrepancy (MMD) guarantees comparable to or better than those of square-root KT without making explicit use of a square-root kernel. Third, we prove that KT with a fractional power kernel yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and Matérn, that do not have square-roots. Fourth, we establish that KT applied to a sum of the target and power kernels (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of target KT. In our experiments with target KT and KT+, we witness significant improvements in integration error even in $100$ dimensions and when compressing challenging differential equation posteriors.

연구 동기 및 목표

• 표준 i.i.d. 샘플링과 토닝이 $n^{-1/4}$ 비례로 증가하는 통합 오차로 인해 효율성이 떨어지는 문제를 해결하기 위해.
• 제곱근 커널에 의존하고 차원에 따라 달라지는 오차 한계를 가진 이전의 커널 토닝(KT) 방법의 한계를 극복하기 위해.
• 제곱근이 없는 커널, 예를 들어 라플라스 및 마르티에른 커널과 같은 커널을 포함한 모든 커널에 대해 더 날카운 차원에 종속되지 않는 MMD 보장을 제공하는 통합 프레임워크를 개발하기 위해.
• 타겟 KT(엄밀한 개별 함수 보장)의 장점과 파wr KT(향상된 MMD 비율)의 장점을 융합하기 위해 새로운 KT+ 절차를 제안하기 위해.

제안 방법

• 타겟 커널 $\mathbf{k}$ 에 직접 KT 알고리즘을 적용하는 타겟 KT를 도입하여 제곱근 커널이 필요 없게 하고, 더 날카운 차원에 종속되지 않는 MMD 보장을 얻는다.
• 분수 거듭제곱 $\alpha$-power 커널 $\mathbf{k}_\alpha$ 를 사용하는 파워 KT를 제안하여, 제곱근을 취할 수 없는 비연속적 커널인 라플라스 및 마르티에른 커널에 대해 향상된 MMD 오차 비율을 달성한다.
• 타겟 커널과 파워 커널의 합에 대해 토닝을 적용함으로써 타겟 KT와 파워 KT의 장점을 모두 취하는 하이브리드 방법인 KT+를 개발한다.
• 커버링 수 제약과 꼬리 반경 분석을 활용하여, 가우시안, 역 다항식, 사인, B스플라인, 마르티에른 커널 등 다양한 커널에 대해 MMD 오차 비율을 유도한다. 이는 다양한 모멘트 및 꼬리 조건 하에서 적용된다.
• 확률적 농도 부등식과 RKHS 노름 제어를 사용하여, RKHS 내의 개별 함수에 대해 고확률적으로 $\mathcal{O}(n^{-1/2}\sqrt{\log n})$ 수준의 통합 오차를 확립한다.
• 커널의 스펙트럼 성질의 정교한 분석과 원래 측도와 압축된 측도 간의 이질성에 기반해, 차원에 종속되지 않는 MMD 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 제곱근 커널에 의존하지 않고도 더 날카운 차원에 종속되지 않는 MMD 오차 보장을 달성할 수 있는가?
• RQ2 제곱근을 취할 수 없는 비연속적 커널인 라플라스 및 마르티에른 커널에 대해 향상된 MMD 오차 비율을 달성할 수 있는가?
• RQ3 타겟 KT의 개별 함수 정확성과 파워 KT의 MMD 성능을 통합할 수 있는 유일한 방법이 존재하는가?
• RQ4 일반화된 커널 토닝의 이론적 보장이 분석적 및 비분석적 유형을 포함한 다양한 커널에 대해 유효한가?

주요 결과

• 타겟 KT는 RKHS 내 임의의 함수에 대해 $\mathcal{O}(n^{-1/2}\sqrt{\log n})$ 수준의 통합 오차를 달성하며, 이 보장은 차원에 종속되지 않으며 모든 커널과 분포, 포함하여 꼬리가 두꺼운 분포에도 적용 가능하다.
• 가우시안, 역 다항식, 사인 커널과 같은 분석적 커널의 경우, 타겟 KT는 제곱근 커널이 필요 없이 루트 KT와 비교해 비슷하거나 더 낮은 MMD 오차를 달성한다.
• 분수 거듭제곱 $\alpha$-power 커널을 사용하는 파워 KT는 비연속적 커널인 라플라스 및 마르티에른 커널에 대해 $\mathcal{O}(n^{-1/4\alpha})$ 수준의 MMD 오차를 제공하며, 라플라스 커널의 경우 $\alpha > 1/2$ 이고, 마르티에른 커널의 경우 $\alpha > d/(2\nu)$ 를 만족해야 한다.
• KT+는 타겟 KT와 파워 KT의 MMD 오차 비율 중 최소값을 달성하여, 마르티에른 커널의 경우 $\nu > d/2$ 를 만족할 때 $\mathcal{O}(n^{-1/4\alpha})$ 수준의 최적 오차를 달성하고, 분석적 커널의 경우 $\mathcal{O}(n^{-1/2}\sqrt{\log n})$ 수준의 오차를 달성한다.
• 고차원 환경(최대 100차원)에서의 실험 결과, 타겟 KT와 KT+를 사용해 어려운 미분방정식 사후분포를 압축할 때 통합 오차가 크게 감소하는 것으로 나타났다.
• 타겟 KT는 모든 커널에서 $\mathcal{O}(n^{-1/2}\sqrt{\log n})$ 수준의 MMD 오차를 달성하며, 제곱근이 없는 커널에도 적용 가능하고, i.i.d. 토닝의 $\Omega(n^{-1/4})$ 오차를 초월한다.