[논문 리뷰] Importance Sampling: Computational Complexity and Intrinsic Dimension

Sergios Agapiou, Omiros Papaspiliopoulos외 2명|arXiv (Cornell University)|2015. 11. 19.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 19

한 줄 요약

이 논문은 기여도 샘플링의 계산 복잡도를 분석하기 위한 통합 프레임워크를 제안하며, 이를 통해 기여도 샘플링의 효율성은 기여도 측정과 목표 측정 간의 차이를 내재 차원(intrinsic dimension)로 정량화한 데 기반한다. 이는 기여도 샘플링이 성공할지 실패할지 판단할 수 있는 원칙적인 방법을 제공한다.

ABSTRACT

The basic idea of importance sampling is to use independent samples from one measure in order to approximate expectations with respect to another measure. Understanding how many samples are needed is key to understanding the computational complexity of the method, and hence to understanding when it will be effective and when it will not. It is intuitive that the size of the difference between the measure which is sampled, and the measure against which expectations are to be computed, is key to the computational complexity. An implicit challenge in many of the published works in this area is to find useful quantities which measure this difference in terms of parameters which are pertinent for the practitioner. The subject has attracted substantial interest recently from within a variety of communities. The objective of this paper is to overview and unify the resulting literature in the area by creating an overarching framework. The general setting is studied in some detail, followed by deeper development in the context of Bayesian inverse problems and filtering.

연구 동기 및 목표

• 기여도 샘플링에 관한 산발적인 문헌을 통합하기 위해 공통된 이론적 기반을 규명하는 것.
• 기여도 샘플링의 계산 복잡도를 측정 가능한, 실무자에게 관련 있는 매개변수로 정량화하는 것.
• 내재 차원을 기반으로 샘플링 효율성을 예측하는 핵심 지표로 삼는 것.
• 베이지안 역문제 및 필터링에 이 프레임워크를 적용하여, 기여도 샘플링이 널리 사용되는 분야에서의 적용을 가능하게 하는 것.
• 기여도 샘플링이 계산적으로 비가능해지는 경우를 이해하기 위한 이론적 기반을 마련하는 것.

제안 방법

• 기여도 측정과 목표 측정 간의 발산을 기반으로 기여도 샘플링을 분석하기 위한 일반적인 이론적 프레임워크를 제안하는 것.
• 확률 측정 간의 차이를 기하학적 척도로 사용하는 내재 차원을 도입하는 것.
• 계산 복잡도를 특성화하기 위해 쿨백-라이블러 발산 및 관련 정보 이론적 양을 사용하는 것.
• 후행 분포의 기하학적 성질을 분석하여 베이지안 역문제에 이 프레임워크를 적용하는 것.
• 동일한 내재 차원 척도를 사용하여 순차적 기여도 샘플링을 포함한 필터링 문제로 분석을 확장하는 것.
• 효율적 표본 수가 차원에 따라 지수적으로 악화되는 조건을 유도하며, 이를 내재 차원과 연결하는 것.

실험 결과

연구 질문

• RQ1 기여도 샘플링의 계산 복잡도는 측정 가능한, 해석 가능한 매개변수로 어떻게 정량화할 수 있는가?
• RQ2 측정 간 차이의 내재 차원이 샘플링 효율성에 어떤 역할을 하는가?
• RQ3 특히 베이지안 역문제 및 필터링에서 기여도 샘플링이 비가능해지는 설정은 무엇인가?
• RQ4 기여도 측정과 목표 측정 간의 발산은 정확한 추정을 위해 필요한 표본 수와 어떻게 관련이 있는가?
• RQ5 내재 차원은 다양한 응용 분야에서 기여도 샘플링 성능을 신뢰할 만하게 예측할 수 있는가?

주요 결과

• 기여도 샘플링의 계산 복잡도는 기여도 측정과 목표 측정 간의 차이의 내재 차원에 의해 본질적으로 결정된다.
• 내재 차원이 높을 경우 정확한 추정을 위해 필요한 표본 수가 지수적으로 증가하여 기여도 샘플링이 비가능해진다.
• 이 프레임워크는 잘 선택된 기여도 측정을 사용하더라도 내재 차원이 높아서 기여도 샘플링이 실패할 수 있음을 원칙적으로 평가할 수 있게 한다.
• 베이지안 역문제에서는 사전 분포에 대한 후행 분포의 내재 차원이 기여도 샘플링의 확장성에 영향을 준다.
• 필터링 문제에서는 가능도와 사전 분포의 조합의 내재 차원이 시간이 지남에 따라 효율적 표본 수를 결정한다.
• 기존의 쿨백-라이블러 발산과 같은 전통적 척도만으로는 성능을 예측하기 부족하며, 내재 차원이 더 정보가 풍부한 척도임을 입증한다.