[논문 리뷰] Stein Variational Adaptive Importance Sampling

Jun Han, Qiang Liu|arXiv (Cornell University)|2017. 04. 18.

Markov Chains and Monte Carlo Methods참고 문헌 19인용 수 17

한 줄 요약

이 논문은 슈바르츠 변환 기반 비모수적 적응형 중요도 샘플링 방법인 슈바르츠IS(SteinIS)를 제안한다. 이 방법은 중요도 샘플링과 슈바르츠 변환 경사하강법(SVGD)을 통합하여 제안 분포를 반복적으로 개선한다. SVGD의 비모수적 변환을 사용해 제안 분포와 목표 분포 간의 KL 발산을 최소화함으로써, 상관없는 동일분포(i.i.i.d.) 입자들과 관련된 중요도 가중치를 생성하여 편향 없는 추정기와 결과의 해석 가능성 전반을 보장한다. 실험 결과는 깊이 있는 생성 모델에서 정규화 상수 추정 및 로그우도 평가에서 뛰어난 수렴성과 효율성을 보여준다.

ABSTRACT

We propose a novel adaptive importance sampling algorithm which incorporates Stein variational gradient decent algorithm (SVGD) with importance sampling (IS). Our algorithm leverages the nonparametric transforms in SVGD to iteratively decrease the KL divergence between our importance proposal and the target distribution. The advantages of this algorithm are twofold: first, our algorithm turns SVGD into a standard IS algorithm, allowing us to use standard diagnostic and analytic tools of IS to evaluate and interpret the results; second, we do not restrict the choice of our importance proposal to predefined distribution families like traditional (adaptive) IS methods. Empirical experiments demonstrate that our algorithm performs well on evaluating partition functions of restricted Boltzmann machines and testing likelihood of variational auto-encoders.

연구 동기 및 목표

• 기존의 적응형 중요도 샘플링 기법이 제한적인 모수적 제안 분포 가족에 의존하고 일관된 추정기 없음을 해결하기 위해.
• SVGD 입자들이 상관없는 동일분포(i.i.d.) 성질을 가지지 않아 통계적 해석과 편향-분산 분석이 어려운 문제를 해결하기 위해.
• 표준 중요도 샘플링 프레임워크 내에서 SVGD 동역학을 활용해 기대값과 정규화 상수의 편향 없는 일관된 추정을 가능하게 하기 위해.
• 모수적 가정을 피하고 반복적 변수 변환의 전체 표현 능력을 활용하는 유연한 비모수적 제안 분포 적응 방법을 개발하기 위해.

제안 방법

• 해당 방법은 비모수적 변환을 통한 SVGD의 반복적 입자 갱신을 사용하여 초기 제안 분포를 목표 분포 쪽으로 진화시킨다.
• 각 반복 단계에서 현재 제안 분포와 목표 분포 간의 KL 발산을 최소화하는 최적의 운반 지도(transport maps)를 계산한다.
• 입자를 현재 제안 분포에서 유래한 i.i.d. 표본으로 간주하고, 표준 IS 진단 도구와 편향 없는 추정기를 가능하게 하기 위해 중요도 가중치를 추적한다.
• 반복 ℓ에서의 제안 분포는 초기 분포를 ℓ개의 SVGD 변환의 병합을 통해 옮긴 결과로 정의된다.
• 알고리즘은 가중치가 부여된 입자 집합을 유지하며, 각 입자에서의 목표 밀도와 제안 밀도의 비율에 따라 가중치를 갱신한다.
• 중간 결과 재사용이 가능하다: 1000에서 2000으로 반복 횟수를 늘릴 경우, HAIS와 달리 처음부터 다시 실행할 필요 없이 추가로 1000단계만 실행하면 된다.

실험 결과

연구 질문

• RQ1 SVGD를 표준 중요도 샘플링 알고리즘으로 재해석하여 편향 없는 추정과 진단 도구를 가능하게 할 수 있는가?
• RQ2 적응형 비모수적 제안 학습의 이점을 유지하면서도 SVGD 입자들의 비-i.i.d. 성질을 어떻게 해결할 수 있는가?
• RQ3 SVGD 기반의 비모수적 적응형 IS 방법이 기존의 적응형 IS 방법보다 수렴 속도와 계산 효율성 측면에서 뛰어나게 되는가?
• RQ4 이러한 방법이 원래 SVGD가 자연스럽게 지원하지 않는 비가역 정규화 상수 추정을 일관되고 편향 없이 수행할 수 있는가?
• RQ5 고차원 설정에서 이 방법은 어떻게 스케일링되며, 병렬화 가능한 동역학을 사용해 추가로 가속화할 수 있는가?

주요 결과

• SteinIS는 MNIST에서 로그우도 추정에서 HAIS-1L(1단계 레프레고 단계)보다 빠른 수렴 속도를 보이며, HAIS-10L(10단계 레프레고 단계)보다 약간 더 빠르게 수렴한다.
• 단지 1000회의 전이만 사용했음에도 불구하고, SteinIS는 HAIS-10L와 유사하거나 더 낮은 실행 시간으로 더 나은 또는 유사한 로그우도 추정을 달성한다.
• 10개의 잠재 차원에서 SteinIS의 실행 시간(224.40초)은 HAIS-10L(600.15초)보다 현저히 낮아 계산 효율성이 뛰어나다는 것을 입증한다.
• SteinIS는 증분 계산이 가능하다: 1000에서 2000으로 반복 횟수를 늘릴 경우, HAIS와 달리 처음부터 다시 계산할 필요 없이 추가로 1000단계만 실행하면 된다.
• 이 방법은 제한된 볼츠만 기계의 정규화 상수와 변분 오토인코더의 로그우도를 일관되고 편향 없는 추정기로 성공적으로 추정한다.
• 실험 결과는 SteinIS가 표준 IS 도구를 통해 전체적인 해석 가능성을 유지하면서도 높은 정확도를 유지함을 확인한다. 이는 표준 SVGD와는 대조적이다.