[논문 리뷰] Stein Variational Gradient Descent as Gradient Flow

Qiang Liu|arXiv (Cornell University)|2017. 04. 25.

Markov Chains and Monte Carlo Methods참고 문헌 13인용 수 47

한 줄 요약

이 논문은 입자들의 경험적 측도가 목표 분포로 약수렴함을 보여줌으로써 스틴 변분 기울기 강하(SVGD)에 대한 최초의 이론적 분석을 수립한다. SVGD 동역학이 비선형 볼라프 방정식에 의해 지배됨을 드러내며, 스틴 연산자가 유도하는 새로운 리만 유사 계량에서 KL 발산의 기울기 흐름으로서 SVGD를 해석한다.

ABSTRACT

Stein variational gradient descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate given distributions, based on an efficient gradient-based update that guarantees to optimally decrease the KL divergence within a function space. This paper develops the first theoretical analysis on SVGD, discussing its weak convergence properties and showing that its asymptotic behavior is captured by a gradient flow of the KL divergence functional under a new metric structure induced by Stein operator. We also provide a number of results on Stein operator and Stein's identity using the notion of weak derivative, including a new proof of the distinguishability of Stein discrepancy under weak conditions.

연구 동기 및 목표

• 스티븐 변분 기울기 강하(SVGD)에 대한 최초의 엄밀한 이론적 분석을 제공하는 것, 이는 결정적 입자 기반 샘플링 방법이다.
• 입자 수가 증가함에 따라 SVGD 입자들의 경험적 측도가 목표 분포로 약수렴함을 확립하는 것.
• 물리학에서 알려진 비선형 포커-플랑크 방정식으로 불리는 볼라프 방정식을 사용하여 SVGD의 점근적 행동을 특성화하는 것.
• 확률 측도 공간 위에 존재하는 새로운 리만 유사 계량 구조 아래서 SVGD를 KL 발산 기능의 기울기 흐름으로 기하학적으로 해석하는 것.
• 최적의 속도 장이 스틴 불일치도를 통한 KL 발산 감소를 최대화함을 보여줌으로써 SVGD와 스틴 방법 사이의 관계를 체계화하는 것.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내 단위 노름 제약 조건 하에, 목표 분포에 대한 푸시포워드 맵에 대한 KL 발산의 음의 도함수를 최대화하는 기능 최적화 문제로 SVGD를 수식화하는 것.
• 스티븐 연산자를 사용하여 KL 발산의 기울기를 유도하며, 내림방향이 속도 장에 대한 스틴 연산자의 기대값에 의해 결정됨을 보여주는 것.
• 경험적 입자 분포와 목표 분포 사이의 불일치도로 스틴 불일치도를 도입하며, 이는 두 분포가 동일할 때에만 0이 되는 불일치도 측도이다.
• 입자 시스템의 진화를 볼라프 유형 방정식으로 모델링하며, 이는 입자 수가 증가함에 따라 이산 입자 동역학의 극한으로 유도된다.
• 스티븐 연산자와 RKHS 노름에 의해 유도되는 리만 계량 구조 아래서 KL 발산 기능의 기울기 흐름으로서 SVGD를 기하학적으로 해석하는 기하학적 프레임워크를 수립하는 것.
• 변분법과 무한소 푸시포워드를 사용하여 입자 밀도의 시간 진화를 지배하는 포커-플랑크 방정식을 도출하며, 이 흐름이 최적의 속도 장의 발산에 의해 구동됨을 보여주는 것.

실험 결과

연구 질문

• RQ1 입자 수가 증가함에 따라 SVGD 입자들의 경험적 측도가 목표 분포로 약수렴하는가?
• RQ2 SVGD 입자 시스템의 연속 시간 극한 동역학은 무엇이며, 이를 편미분 방정식으로 어떻게 기술할 수 있는가?
• RQ3 SVGD는 확률 측도 공간 위의 기하학적 구조 아래서 KL 발산의 기울기 흐름으로 해석될 수 있는가?
• RQ4 SVGD의 최적의 속도 장은 스틴 연산자와 RKHS 노름과 어떻게 관련되어 있는가?
• RQ5 SVGD 동역학의 맥락에서 볼라프 방정식과 포커-플랑크 방정식 사이의 관계는 무엇인가?

주요 결과

• 입자 수가 무한대에 접근함에 따라 SVGD 입자들의 경험적 측도가 목표 분포로 약수렴한다.
• SVGD의 점근적 동역학은 비선형 볼라프 방정식에 의해 지배되며, 이는 입자 시스템의 진화의 연속 극한으로 나타난다.
• 이 논문은 스틴 연산자와 RKHS 노름에 의해 유도되는 리만 계량 구조 아래서 KL 발산 기능의 기울기 흐름으로서 SVGD가 등가임을 확립한다.
• SVGD의 최적의 속도 장은 KL 발산 감소를 최대화하며, 이는 스틴 불일치도를 포함하는 기능 최적화 문제의 해로 유도된다.
• 입자 밀도의 시간 진화를 기술하는 포커-플랑크 방정식은 푸시포워드 맵의 극한으로 도출되며, 밀도가 최적의 속도 장의 발산에 따라 진화함을 보여준다.
• KL 발산은 미르피즘에 의한 푸시포워드에서 불변함을 보이며, 이는 SVGD가 측도 공간 위의 흐름으로서 기하학적 해석을 지지한다.