[논문 리뷰] Optimistic Distributionally Robust Optimization for Nonparametric Likelihood Approximation

Viet Anh Nguyen, Soroosh Shafieezadeh-Abadeh외 3명|arXiv (Cornell University)|2019. 10. 23.

Gaussian Processes and Bayesian Inference인용 수 8

한 줄 요약

이 논문은 비모수적 우도 근사에 대해 분포로 안정적인 최적화 프레임워크를 제안한다. 여기서 우도는 워샤프스키 또는 KL 발산 기반의 불확실성 집합 내 확률 측도에서 관측된 표본을 관측할 확률을 최대화함으로써 근사된다. 이 방법은 특정 경우에 해석적 해를 갖는 볼록 최적화 문제를 유도하며, 사후 추론에 대해 강력한 이론적 보장을 보장한다.

ABSTRACT

The likelihood function is a fundamental component in Bayesian statistics. However, evaluating the likelihood of an observation is computationally intractable in many applications. In this paper, we propose a non-parametric approximation of the likelihood that identifies a probability measure which lies in the neighborhood of the nominal measure and that maximizes the probability of observing the given sample point. We show that when the neighborhood is constructed by the Kullback-Leibler divergence, by moment conditions or by the Wasserstein distance, then our extit{optimistic likelihood} can be determined through the solution of a convex optimization problem, and it admits an analytical expression in particular cases. We also show that the posterior inference problem with our optimistic likelihood approximation enjoys strong theoretical performance guarantees, and it performs competitively in a probabilistic classification task.

연구 동기 및 목표

• 베이지안 통계에서 폐형 표현이 없을 때 우도 평가가 불가능한 문제를 해결하기 위해.
• 계산적으로 처리 가능한 동안 통계적 강건성을 유지하는 비모수적 우도 근사법을 개발하기 위해.
• 우도 근사 하에 사후 추론에 대해 강력한 이론적 성능 보장을 확보하기 위해.
• 워샤프스키 및 KL 발산 기반의 불확실성 집합을 사용한 우도 근사에 대한 볼록 최적화 프레임워크를 제공하기 위해.
• 우도 평가가 불가능한 상황에서도 확률적 분류 작업에서 경쟁적인 성능을 보여주기 위해.

제안 방법

• 이 방법은 관측된 표본들 위에서의 경험적 분포로 진술된 우도에 대한 명목적 믿음을 모델링한다.
• 이것은 명목 측도의 이웃(불확실성 집합) 내에 있는 측도에서 관측된 데이터의 확률을 최대화하는 방식으로 낙관적 우도 근사를 분포로 안정적인 최적화 문제로 공식화한다.
• 불확실성 집합은 워샤프스키 거리 또는 킬비블레르-라이블러 발산을 사용하여 정의되어, 분포 이동에 대한 강건성을 확보한다.
• 워샤프스키 불확실성 집합의 경우, 총 변동성과 거리에 대한 제약 조건을 포함하는 운반 변수를 사용하여 유한한 볼록 프로그램으로 문제를 재구성한다.
• 해는 명목 지지 집합과 관측된 데이터 포인트들의 합집합 위에 지지되며, 이는 효율적인 계산을 가능하게 한다.
• 이 방법은 볼록 쌍대성과 약한 컴acts를 활용하여 최적 측도의 존재성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 진정한 우도가 평가가 불가능할 때에도 계산적으로 처리 가능한 비모수적 우도 근사법을 구성할 수 있는가?
• RQ2 모수적 형태를 가정하지 않고도 우도 추정에서 분포 불확실성에 대한 강건성을 확보할 수 있는가?
• RQ3 이 낙관적 우도 근사법을 사용할 경우 사후 추론의 이론적 성능은 어떠한가?
• RQ4 제안된 방법을 다양한 불확실성 집합 하에서 볼록 최적화 문제로 재구성할 수 있는가?
• RQ5 확률적 분류와 같은 실용적 추론 작업에서 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 워샤프스키 불확실성 집합 하에서의 낙관적 우도 근사는 운반 비용과 질량 보존에 대한 명시적 제약 조건을 포함하는 유한한 볼록 프로그램으로 재구성될 수 있다.
• 워샤프스키 기반 문제의 최적 측도는 명목 지지 집합과 관측된 데이터 포인트들의 합집합 위에 지지되며, 이는 효율적인 계산을 가능하게 한다.
• KL 발산 기반의 불확실성 집합의 경우, 미약한 정칙 조건 하에서 최적의 우도도 닫힌 형태의 해를 갖는다.
• 이 방법은 사후 추론에 대해 강력한 이론적 성능 보장을 보장하며, 일致성과 모형 잘못 설정에 대한 강건성을 포함한다.
• 실험 결과는 확률적 분류 작업에서 경쟁적인 성능을 보이며, 기준선의 우도 자유 방법보다 예측 정확도에서 뛰어나다.
• 낙관적 로그 우도 문제의 목적 함수는 상반연속성이 보장되어 약한 수렴 하에 최적 해의 존재를 보장한다.