[논문 리뷰] Optimal quantisation of probability measures using maximum mean discrepancy

Onur Teymur, Jackson Gorham외 2명|arXiv (Cornell University)|2020. 10. 14.

Statistical Methods and Inference참고 문헌 43인용 수 7

한 줄 요약

이 논문은 최대 평균 차이(MMD)를 사용하여 확률 측도의 최적 이산화를 위한 새로운 비순시적 및 미니배치 그레디언트 알고리즘을 제안한다. 대표 점의 선택을 정수 이차계획문제(IQP)로 프레임워크화하고, 이를 준정수 프로그래밍을 통한 완화로 해결한다. 이 방법은 일致성과 유한 표본 오차 경계를 확보하며, 순차적 접근 방식보다 통계적 효율성이 높고 계산 비용이 낮아 KSD 및 MMD 최소화 과제에서 뛰어난 성능을 발휘한다.

ABSTRACT

Several researchers have proposed minimisation of maximum mean discrepancy (MMD) as a method to quantise probability measures, i.e., to approximate a target distribution by a representative point set. We consider sequential algorithms that greedily minimise MMD over a discrete candidate set. We propose a novel non-myopic algorithm and, in order to both improve statistical efficiency and reduce computational cost, we investigate a variant that applies this technique to a mini-batch of the candidate set at each iteration. When the candidate points are sampled from the target, the consistency of these new algorithm - and their mini-batch variants - is established. We demonstrate the algorithms on a range of important computational problems, including optimisation of nodes in Bayesian cubature and the thinning of Markov chain output.

연구 동기 및 목표

• 확률 측도 μ를 MMD를 이질성 기준으로 사용하여 이산 점 집합 ν로 효율적으로 근사화하는 데 도전하는 것.
• 무한 도메인에서의 그레디언트 MMD 최소화의 계산 비가능성을 해결하기 위해 선택을 유한한 후보 집합으로 제한하는 것.
• 비순시적 및 미니배치 버전의 그레디언트 MMD 최소화를 통해 통계적 효율성을 향상시키고 계산 비용을 감소시키는 것.
• 제안된 알고리즘에 대한 이론적 일치성과 유한 표본 오차 경계를 확립하는 것.
• 베이지안 큐브처처 및 마르코프 체인 희소화와 같은 실용적 응용 분야에서의 방법의 효과성을 입증하는 것.

제안 방법

• 이 방법은 유한한 후보 집합 내에서 n개의 대표 점을 선택하는 문제를 MMD를 최소화하는 정수 이차계획문제(IQP)로 설정한다.
• 비순시적 선택은 다수의 점을 동시에 최적화하여 달성되며, 해 벡터에 단위 노름 제약 조건을 부여함으로써 제약 조건이 있는 IQP로 문제를 재구성한다.
• 확장 가능한 계산을 가능하게 하기 위해 IQP의 준정수 프로그래밍 완화(SDR)를 사용하며, 무작위 초평면 투영과 이동을 통해 정확히 m개의 점을 선택한다.
• 해 품질 향상을 위해 후보 집합의 수를 R > 1번 반복하는 랜덤 초평면 샘플링 전략을 사용하며, 이는 비용 증가 없이 가능하다.
• 핵심 길이 척도는 후보 점의 부분 집합에 대해 중앙값 히ュ리스틱을 적용하여 안정성과 수렴 제어를 보장한다.
• 이 방법은 MMD와 커널 스티븐 불일치(KSD)에 모두 적용되며, 후자는 약한 수렴 제어를 보장하기 위해 역 다항기반 커널을 사용한다.

실험 결과

연구 질문

• RQ1 비순시적 및 미니배치 버전의 그레디언트 MMD 최소화는 기존 순차적 방법에 비해 통계적 효율성을 향상시키고 계산 비용을 줄일 수 있는가?
• RQ2 준정수 프로그래밍 완화를 사용한 IQP 설정이 확률 측도의 최적 이산화에 대해 일치성과 유한 표본 오차 경계를 갖는가?
• RQ3 특히 중앙값 히ュ리스틱을 통해 선택된 핵심 길이 척도의 선택이 결과 점 집합 근사의 품질에 어떤 영향을 미치는가?
• RQ4 비순시적 및 배치 기반 선택 전략은 MMD 및 KSD 최소화 과제에서 순시적이고 순차적인 선택 전략에 비해 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법은 베이지안 큐브처처 및 마르코프 체인 희소화와 같은 실제 응용 분야에서 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 비순시적 및 미니배치 알고리즘은 후보 집합과 커널에 대한 약한 정규성 조건 하에서 일치성과 유한 표본 오차 경계를 확보한다.
• 최고의 R개 샘플링(R=50)을 사용한 준정수 프로그래밍 완화 접근법은 비완화된 IQP와 유사한 시간 조정 KSD 성능을 달성하며, 계산 비용은 약간 증가할 뿐이다.
• 길이 척도 선택을 위한 중앙값 히ュ리스틱은 제곱 지수 커널의 다양한 ℓ 값에서의 시각적 및 정량적 개선을 통해 병리적 근사 방지를 효과적으로 수행한다.
• 비순시적 선택, 특히 모든 점을 동시에 선택하는 전략은 고차원 설정에서 순시적 및 순차적 방법에 비해 MMD 및 KSD 성능이 뛰어나다.
• 베이지안 큐브처처 및 마르코프 체인 희소화 과제에서 기존 방법보다 성능이 뛰어나 실용성과 확장성의 잠재력을 입증한다.
• SDR 접근법의 성능은 R 값이 임계값을 초과할 경우(예: R=200) 저하되며, 이는 샘플링 비용과 해 품질 사이의 상충 관계를 시사한다.