[논문 리뷰] Learning deep kernels for exponential family densities

Li Kevin Wenliang, Danica J. Sutherland외 2명|arXiv (Cornell University)|2018. 11. 20.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 10

한 줄 요약

이 논문은 복잡한 국소적 데이터 기하학을 적응적으로 포착할 수 있도록 딥 네ural 네트워크를 통해 커널을 학습하는 딥 커널 지수족(DKEF)을 제안한다. 이로 인해 민감도 높은 밀도 추정이 가능해진다. 학습된 위치에 의존하는 커널을 사용한 스코어 매칭을 통해 DKEF는 최대우도 기반의 딥 밀도 모델보다 더 뛰어난 형태 모델링 및 기울기 추정 성능을 달성한다. 특히 복잡한 다모드 또는 비i.i.d. 데이터 구조에서 뛰어난 성능을 보인다.

ABSTRACT

The kernel exponential family is a rich class of distributions, which can be fit efficiently and with statistical guarantees by score matching. Being required to choose a priori a simple kernel such as the Gaussian, however, limits its practical applicability. We provide a scheme for learning a kernel parameterized by a deep network, which can find complex location-dependent local features of the data geometry. This gives a very rich class of density models, capable of fitting complex structures on moderate-dimensional problems. Compared to deep density models fit via maximum likelihood, our approach provides a complementary set of strengths and tradeoffs: in empirical studies, the former can yield higher likelihoods, whereas the latter gives better estimates of the gradient of the log density, the score, which describes the distribution's shape.

연구 동기 및 목표

• 고정된, 공간적으로 불변하는 커널이 복잡한 다모드 데이터 구조에 적응하지 못하는 데 기인한 제약을 극복하기 위해.
• 보류된 스코어 손실을 사용한 메타학습 기반으로 커널 파라미터와 정규화 하이퍼파rameter를 동시에 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 밀도의 로그 밀도 기울기인 스코어 추정을 향상시키기 위해, 특히 고곡률 또는 분리된 구성 요소 영역에서 분포 형태를 모델링하는 데 핵심적인 역할을 하기 위해.
• 커널 방법과 딥 특징 학습의 장점을 융합하여 최대우도 기반의 딥 밀도 모델에 대한 실용적이고 확장 가능한 대안을 제공하기 위해.

제안 방법

• 딥 네ural 네트워크 $ \bm{\theta} $가 위치에 의존하는 특징을 추출하는 방식으로 커널을 $ k(\bm{x}, \bm{y}) = \tilde{\rho}(\bm{\theta}(\bm{x}), \bm{\theta}(\bm{y})) $ 로 매개변수화한다.
• 스코어 매칭을 사용하여 모델을 훈련시키며, 진짜 스코어 함수와 예측된 스코어 함수 간의 기대 제곱차이를 최소화한다: $ J = \frac{1}{2} \bb{E}_{p_0} \norm{\nabla \tilde{p} - \nabla p}^2 $.
• 보류된 스코어 손실을 사용하여 딥 네트워크 가중치와 정규화 파라미터를 동시에 최적화함으로써 데이터로부터 부드러움 가정을 메타학습할 수 있도록 한다.
• 딥 특징에 고정된 가우시안 커널을 적용하여 입력 공간의 다양한 영역에서 길이 척도가 변하는 민감한, 적응 가능한 커널을 구성한다.
• 자동 미분를 통해 기울기 계산이 가능한 확률적 경량 최적화 방법을 사용하여 스코어 매칭 목표 함수 기반으로 모델을 훈련시킨다.
• 학습된 밀도 형태의 정확도 평가를 위해 형태 기반 평가 지표인 FSSD(전체 척도 소볼레프 편차)와 KSD(커널 기반 스텐 디스crepancy)를 사용한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크를 사용해 커널 지수족의 커널을 매개변수화함으로써, 복잡하고 위치에 의존하는 데이터 기하학을 더 잘 포착할 수 있는가?
• RQ2 스코어 매칭을 통해 커널과 정규화 파라미터를 동시에 학습시키면, 최대우도 기반의 딥 밀도 모델에 비해 스코어 함수 추정 성능이 향상되는가?
• RQ3 표준 정규화 플로우가 실패하는 날카운 특징, 분리된 구성 요소 또는 비정규 분포를 가진 데이터셋에서 DKEF 모델의 성능은 어떠한가?
• RQ4 모델이 데이터로부터 부드러움 가정을 학습함으로써, 명시적인 우도 최대화 없이도 일반화 성능을 향상시키고 아티팩트를 줄일 수 있는가?
• RQ5 DKEF와 최대우도 기반의 딥 밀도 모델 간의 우도 성능과 스코어 추정 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• DKEF는 레이어, 사각형, 코사인과 같은 복잡한 형태에서 최대우도 기반 모델보다 유의미하게 낮은 피셔 분산과 FSSD 값을 기록하여 더 뛰어난 형태 모델링 성능을 보였다.
• 기본 UCI 데이터셋(레드와인, 화이트와인, 퍼킨슨, 허프마스, 마이니보운)에서 DKEF는 스코어 정확도의 전역 측정 지표인 FSSD에서 일관되게 상위 모델로 순위를 유지했으며, 더 큰 테스트 세트에서 DKEF가 유의미하게 유리한 모델 비교 결과를 보였다.
• 일부 데이터셋에서 최대우도 기반 모델은 더 높은 로그우도를 기록했지만, DKEF는 특히 고곡률 또는 불연속 영역에서 낮은 FSSD와 KSD 값을 기록함으로써 더 나은 기울기 추정 성능을 보였다.
• 분리된 구성 요소를 가진 다모드 분포에서 DKEF는 개별 모드의 형태를 성공적으로 포착했지만, 모드 가중치는 여전히 불안정했으며, DKEF와 스펙트럼 클러스터링을 조합한 혼합 모델이 성능 향상에 기여했다.
• 모델 피팅이 향상될수록 목표 함수 추정기 $ \tilde{J} $ 가 더 노이지해지며, 특히 사각형과 같은 날카운 특징에서 기울기 분산이 증가하고 최적화 과정이 어려워지는 경향을 보였다.
• 훈련 중에 가우시안 노이즈(σ = 0.05)를 추가하면 스코어 매칭 손실이 개선되고 최적화가 안정화되지만, 이는 우도 성능을 악화시킨다. 이는 형태 충실도와 우도 최대화 사이의 상충 관계를 시사한다.