[논문 리뷰] Sliced Kernelized Stein Discrepancy

Wenbo Gong, Yingzhen Li외 1명|arXiv (Cornell University)|2020. 06. 30.

Mathematical Approximation and Integration참고 문헌 48인용 수 14

한 줄 요약

이 논문은 고차원에서의 커널라이즈드 스틸 차이(discrepancy, KSD)의 차원의 극복(curse of dimensionality) 문제를 완화하기 위해 슬라이스드 커널라이즈드 스틸 차이(스스드, SSD)와 그 확장된 형태인 maxSKSD를 제안한다. 이 방법은 고차원 점수 함수와 시험 함수를 무작위의 일차원 방향으로 투영하여 차원의 극복 문제를 완화한다. 이는 고차원에서의 적합도 검정과 모델 학습에 있어 뚜렷한 성능 향상을 이끌어내며, 새로운 입자 추론 알고리즘인 S-SVGD는 변분 오토인코더와 베이지안 신경망에서 모드 붕괴를 줄여 기존의 SVGD보다 뛰어난 성능을 보인다.

ABSTRACT

Kernelized Stein discrepancy (KSD), though being extensively used in goodness-of-fit tests and model learning, suffers from the curse-of-dimensionality. We address this issue by proposing the sliced Stein discrepancy and its scalable and kernelized variants, which employ kernel-based test functions defined on the optimal one-dimensional projections. When applied to goodness-of-fit tests, extensive experiments show the proposed discrepancy significantly outperforms KSD and various baselines in high dimensions. For model learning, we show its advantages over existing Stein discrepancy baselines by training independent component analysis models with different discrepancies. We further propose a novel particle inference method called sliced Stein variational gradient descent (S-SVGD) which alleviates the mode-collapse issue of SVGD in training variational autoencoders.

연구 동기 및 목표

• 커널라이즈드 스틸 차이(KSD)에 영향을 미치는 고차원에서의 차원의 극복 문제를 해결함으로써, 고차원에서의 적합도 검정과 입자 추론 성능 저하를 개선하고자 한다.
• 일차원 투영을 활용하여 고차원에서의 통계적 검정력을 유지하면서도 이론적으로 타당하고 확장 가능한 차이 측정 방법을 개발하고자 한다.
• 기존의 SVGD를 대체하여 새로운 입자 추론 알고리즘인 슬라이스드 스틸 변분 경사하강법(S-SVGD)을 도입함으로써 모델 학습과 변분 추론 성능을 향상시키고자 한다.
• 기준 문제, 독립성 성분 분석, 변분 오토인코더에서의 방법 검증을 통해 수렴성 향상과 모드 붕괴 감소를 입증하고자 한다.

제안 방법

• 점수 함수와 시험 함수를 무작위의 일차원 방향으로 투영하여 일차원 최적화 문제로 환원함으로써 슬라이스드 스틸 차이(SSD)를 제안한다.
• 최적의 슬라이싱 방향을 선택하여 차이를 최대화하는 확장된 형태인 maxSKSD를 도입하며, 커널 기법을 활용해 효율적인 계산을 가능하게 한다.
• 적합도 검정에 사용할 수 있도록 최적의 시험 방향을 갖춘 maxSKSD의 불편 추정기(unbiased estimator)를 유도한다.
• maxSKSD를 활용해 결정론적 변환을 적용하는 입자 추론 방법인 슬라이스드 스틸 변분 경사하강법(S-SVGD)을 개발하여 모드 붕괴를 방지한다.
• 시험 함수로 재생 핵 힐버트 공간(RKHS)을 사용하고, 커널 함수와 그 기울기를 활용해 maxSKSD의 해석적 형태를 유도한다.
• 초기 단계에서 입자 집합을 방지하기 위해 적응형 대역폭 선택과 초기 반발력 강도 조정을 S-SVGD에 적용한다.

실험 결과

연구 질문

• RQ1 고차원 점수 함수를 일차원 방향으로 투영하는 것이 적합도 검정에서 통계적 검정력을 유지하거나 향상시키는가?
• RQ2 제안된 maxSKSD가 고차원에서의 적합도 검정에서 KSD 및 기타 기준 대비 뛰어나게 성능을 발휘하는가?
• RQ3 S-SVGD가 표준 SVGD에 비해 변분 오토인코더에서 모드 붕괴 문제를 효과적으로 완화하는가?
• RQ4 독립성 성분 분석(IC)과 같은 고차원 모델 학습 과제에서 maxSKSD는 어떻게 성능을 발휘하는가?
• RQ5 특히 작은 데이터셋에서 S-SVGD가 베이지안 신경망 회귀에서 더 나은 불확실성 추정과 일반화 성능을 제공하는가?

주요 결과

• 고차원 기준 문제와 제한된 뉴턴 링크 모델에서의 적합도 검정에서 maxSKSD는 KSD 및 기타 기준 대비 뚜렷한 성능 향상을 보였다.
• 독립성 성분 분석에서 maxSKSD는 기존의 스틸 차이 기반 방법들보다 더 빠른 수렴을 가능하게 하였다.
• 변분 오토인코더에서 S-SVGD는 모드 붕괴를 줄이며, 특히 작은 데이터셋에서 표준 SVGD에 비해 더 높은 이미지 생성 정확도를 달성하였다.
• UCI 회귀 기준 문제에서 S-SVGD는 9개 데이터셋 중 7개에서 SVGD를 능가하였으며, 특히 보스턴 주택과 요트 데이터셋과 같은 작은 데이터셋에서 입자 분포의 개선과 더 나은 불확실성 추정을 보였다.
• 9개 데이터셋 중 7개에서 RMSE는 낮추고 로그우도(log-likelihood)는 높였으며, 입자 합 거리(particle-sum distance)는 최대 5배까지 증가하여 입자 다양성 향상을 확인하였다.
• 대규모 단백질 데이터셋에서는 SVGD가 약간 더 우수한 성능를 보였지만, S-SVGD는 더 작은, 더 노이즈가 많은 데이터셋에서 불확실성 추정 측면에서 유의미한 이점을 보였다.