[논문 리뷰] Sliced Score Matching: A Scalable Approach to Density and Score Estimation

Yang Song, Sahaj Garg외 2명|arXiv (Cornell University)|2019. 05. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 67

한 줄 요약

고차원 점수들을 임의 방향으로 투영하여 Hessian 계산의 비용을 피하는 점수 매칭의 확장 가능한 변형인 Sliced Score Matching(SSM)을 도입하고, 이를 통해 깊은 비정규화 모델과 고차원 데이터를 가능하게 한다.

ABSTRACT

Score matching is a popular method for estimating unnormalized statistical models. However, it has been so far limited to simple, shallow models or low-dimensional data, due to the difficulty of computing the Hessian of log-density functions. We show this difficulty can be mitigated by projecting the scores onto random vectors before comparing them. This objective, called sliced score matching, only involves Hessian-vector products, which can be easily implemented using reverse-mode automatic differentiation. Therefore, sliced score matching is amenable to more complex models and higher dimensional data compared to score matching. Theoretically, we prove the consistency and asymptotic normality of sliced score matching estimators. Moreover, we demonstrate that sliced score matching can be used to learn deep score estimators for implicit distributions. In our experiments, we show sliced score matching can learn deep energy-based models effectively, and can produce accurate score estimates for applications such as variational inference with implicit distributions and training Wasserstein Auto-Encoders.

연구 동기 및 목표

• 비정규화 모델에 대한 점수 매칭에서 Hessian 기반의 trace 계산의 어려움을 동기 부여하고 다룬다.
• 고차원에서 확장 가능하게 밀도 및 점수 추정을 가능하게 하는 sliced score matching을 제안한다.
• SSM 추정기의 일관성 및 점근적 정상성에 대한 이론적 보장을 확립한다.
• SSM의 심층 에너지 기반 모델 학습과 암시적 분포의 점수 추정 적용 가능성을 보여준다.
• 관련 방법들과의 연관성 및 실용적 변형(예: 분산 감소)들을 탐구한다.

제안 방법

• 점수를 무작위 방향으로 투영하고 그 투영 방향들에 따라 일치시키도록 sliced score matching 목적 함수를 정의한다.
• 투영된 목적 함수와 Hessian-벡터 곱을 포함하는 계산적으로 다루기 쉬운 형태 간의 등가성(상수 차이) 를 보인다.
• 데이터 포인트당 M개의 투영 벡터를 사용하여 sliced objective의 편향 없는 추정기를 제공하고, 분산 감소 변형(SSM-VR)을 제시한다.
• Hutchinson 트릭의 직관을 이용해 방법을 trace 추정과 연결하고 분산을 줄인다.
• 데이터 생성 과정의 점수 추정으로 확장하기 위해 점수 모델 h(x;θ)를 학습하고 sliced objective를 최소화한다.
• 현대 자동 미분 프레임워크(TensorFlow, PyTorch 등)에서의 구현 이점을 논의한다.

실험 결과

연구 질문

• RQ1 고차원에서 비정규화 모델에 대해 sliced score matching이 일관되고 점근적으로 정상적인 매개변수 추정을 제공할 수 있는가?
• RQ2 SSM이 기존의 점수 매칭 변형과 비교해도 경쟁력 있는 추정 정확도를 유지하면서 심층 모델과 고차원 데이터에 확장 가능한가?
• RQ3 암시적 분포의 점수를 추정하는 데 SSM을 적용할 수 있으며 암시적 인코더를 가진 VAE나 WAE와 같은 응용을 지원하는가?
• RQ4 SSM은 다른 확장 가능한 점수 추정 접근법(NCE, Hutchinson 트릭, 커널 기반 추정기 등)과 어떻게 관련되며 어떤 차이점이 있는가?

주요 결과

• SSM은 표준 규칙성 조건하에서 일관성과 점근적 정상성을 갖는 추정기를 산출한다.
• 작은 개수의 투영 벡터 M(종종 M=1)을 사용하면 분산과 계산 비용 사이에 유리한 trade-off를 제공한다.
• SSM-VR은 분산 감소로 경험적 성능을 향상시키고 기초 확장 가능한 점수 매칭 변형을 능가할 수 있다.
• SSM은 전체 Hessiantrace 대신 Hessian-벡터 곱을 통한 계산 가능성으로 심층 에너지 기반 모델의 학습을 가능하게 한다.
• SSM은 암시적 분포의 점수 추정에 필요한 정확한 점수 추정을 얻고 Wasserstein Auto-Encoder 학습에 활용될 수 있다.
• 깊은 커널 지수 가족 및 NICE 흐름 모델을 이용한 밀도 추정 실험에서 SSM은 기존의 점수 매칭 방법들보다 경쟁력이 있으며 종종 더 확장 가능하다.