[논문 리뷰] Annealed Stein Variational Gradient Descent

Francesco D’Angelo, Vincent Fortuin|arXiv (Cornell University)|2021. 01. 24.

Diffusion and Search Dynamics참고 문헌 21인용 수 9

한 줄 요약

이 논문은 다중 모달 분포에서 모드 커버리지를 향상시키기 위해 샘플링 중 타겟 분포의 온도를 동적으로 조정하는 결정적 냉각 전략인 Annealed Stein Variational Gradient Descent (A-SVGD)를 제안한다. 사이클릭 또는 쌍곡선 냉각 스케줄을 적용함으로써 A-SVGD는 입자 다양성을 향상시키고, 모든 모드와 그 상대적 가중치를 정확히 근사할 수 있게 되어, 다중 모달 설정에서 표준 SVGD보다 뚜렷하게 뛰어난 성능을 발휘한다.

ABSTRACT

Particle based optimization algorithms have recently been developed as sampling methods that iteratively update a set of particles to approximate a target distribution. In particular Stein variational gradient descent has gained attention in the approximate inference literature for its flexibility and accuracy. We empirically explore the ability of this method to sample from multi-modal distributions and focus on two important issues: (i) the inability of the particles to escape from local modes and (ii) the inefficacy in reproducing the density of the different regions. We propose an annealing schedule to solve these issues and show, through various experiments, how this simple solution leads to significant improvements in mode coverage, without invalidating any theoretical properties of the original algorithm.

연구 동기 및 목표

• Stein Variational Gradient Descent (SVGD)에서 입자가 몇 개의 국소 모드로 수렴하는 모드 붕괴 문제를 해결하기 위해.
• 다중 모달 분포에서 서로 다른 모드의 상대 밀도 가중치를 재현할 수 있는 SVGD의 능력을 향상시키기 위해.
• 결정적 냉각 스케줄이 유한 입자 SVGD에서 입자 다양성과 수렴성을 향상시킬 수 있는지 조사하기 위해.
• 사이클릭 및 쌍곡선 냉각 스케줄이 표준 SVGD의 한계를 극복하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 처음에는 온도 조절된(평탄화된) 타겟 분포에서 시작하여 점차 진짜 타겟 분포로 전이되는 결정적 냉각 스케줄을 도입한다.
• 타겟 밀도를 조절하는 온도 파rameter γ(t)를 사용하며, p_γ(x) ∝ p(x)^γ(t)로 표현되며, 시간이 지남에 따라 γ(t)가 증가한다.
• 사이클릭 냉각 스케줄을 사용하여 γ(t) = (mod(t, T/C) / (T/C))^p로 정의하여 탐색 단계와 수렴 단계를 번갈아가며 적용한다.
• 쌍곡선탄젠트 기반 스케줄을 적용하여 γ(t) = tanh[(1.3t/T)^p]로 정의함으로써 탐색에서 정밀화로의 전이를 가속화한다.
• 각 시간 단계에서 원래 SVGD 업데이트 규칙을 유지하되, 온도 조절된 타겟 분포에 적용한다.
• 표준 RBF 커널을 SVGD 업데이트에 사용하며, 이는 입자 간의 상반작용력을 통해 다양성을 증진시킨다.

실험 결과

연구 질문

• RQ1 SVGD를 사용할 때 타겟 분포를 냉각시키는 것이 다중 모달 분포에서 모드 커버리지를 향상시킬 수 있는가?
• RQ2 냉각 스케줄의 선택(선형, 쌍곡선, 사이클릭)이 SVGD에서 입자 다양성과 수렴성에 어떤 영향을 미치는가?
• RQ3 냉각이 유한 입자 SVGD에서 모드 붕괴 문제를 어느 정도 완화하는가?
• RQ4 A-SVGD는 표준 SVGD보다 다중 모달 성분의 상대 혼합 가중치를 더 잘 복원할 수 있는가?

주요 결과

• 1차원 가우시안 혼합 분포에서 A-SVGD는 다섯 개의 모든 모드를 커버하는 데 성공했지만, 표준 SVGD는 단일 모드로 수렴한다.
• 2차원 16모드 가우시안 혼합 분포에서 A-SVGD는 초기화에 관계없이 모든 모드를 찾아내고 특성화하는 데 성공했지만, 표준 SVGD는 네 개의 인접한 모드에 갇힌다.
• 특히 한 모드 정확히 내부에 초기화된 경우에도 A-SVGD는 모든 모드를 커버하는 데 성공했지만, 표준 SVGD는 그 단일 모드에 갇혀 있다.
• 실험 전반에 걸쳐 사이클릭 냉각 스케줄이 선형 및 쌍곡선 스케줄보다 모드 커버리지와 가중치 복원에서 뛰어난 성능을 보였다.
• A-SVGD는 2차원 가우시안에서 상대 혼합 가중치를 정확히 복원하는 데 성공했지만, 표준 SVGD는 올바른 밀도 비율을 표현하지 못했다.
• A-SVGD는 SVGD의 이론적 보장을 유지하면서도 다중 모달 타겟에서 경험적 성능을 크게 향상시켰다.