[논문 리뷰] Learning the Stein Discrepancy for Training and Evaluating Energy-Based Models without Sampling

Will Grathwohl, Kuan-Chieh Wang외 3명|arXiv (Cornell University)|2020. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 15

한 줄 요약

이 논문은 샘플링 없이 에너지 기반 모델을 훈련하고 평가하기 위해, 데이터 분포와 모델 분포 사이의 스틸 산란도를 추정하기 위해 신경망 크리틱을 학습하는 Learning the Stein Discrepancy (LSD)를 소개한다. 이 방법은 비정규화된 로그 밀도의 기울기만을 사용하며, 고차원 설정에서 모델 평가 및 훈련 확장성 면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a new method for evaluating and training unnormalized density models. Our approach only requires access to the gradient of the unnormalized model's log-density. We estimate the Stein discrepancy between the data density $p(x)$ and the model density $q(x)$ defined by a vector function of the data. We parameterize this function with a neural network and fit its parameters to maximize the discrepancy. This yields a novel goodness-of-fit test which outperforms existing methods on high dimensional data. Furthermore, optimizing $q(x)$ to minimize this discrepancy produces a novel method for training unnormalized models which scales more gracefully than existing methods. The ability to both learn and compare models is a unique feature of the proposed method.

연구 동기 및 목표

• 에너지 기반 모델(EBM)과 같이 비정규화된 밀도 모델에 대해 신뢰할 수 있고 확장 가능한 평가 및 훈련 방법의 부족을 해결한다. 이러한 모델들은 비용이 많이 드는 MCMC 샘플링에 의존한다.
• 기존의 샘플링 기반 훈련(예: 유한한 MCMC 체인으로 인한 편향된 기울기)과 평가(예: 근사 샘플러에 의존하는 것)의 한계를 극복한다.
• 비정규화된 로그 밀도의 기울기만을 사용하여 EBMs의 훈련과 평가를 동시에 수행할 수 있는 통합 프레임워크를 개발한다.
• 샘플 기반 메트릭을 신경망으로 추정한 스틸 산란도로 대체하여 가능도를 더 정확히 추적함으로써 모델 품질 평가를 향상시킨다.
• 정규화 상수나 스코어 매칭과 같은 대체 목표 함수가 필요 없이도 고차원에서 확장 가능한 EBMs의 훈련을 가능하게 한다.

제안 방법

• 비정규화된 로그 밀도의 기울기만을 사용하여, 데이터 분포 $ p(x) $와 모델 $ q(x) $ 사이의 스틸 산란도를 벡터 값 크리틱 함수 $ s(x) $를 사용해 정의한다. 이 함수는 신경망으로 파arameter화된다.
• 스티엘 산란도를 최대화하도록 크리틱 네트워크를 훈련시켜, 백프로파게이션을 통해 미분 가능하고 확장 가능한 적합도 검정을 형성한다.
• 결과로 도출된 산란도를 EBM의 훈련 목표로 사용하여, 샘플링 없이 모델 밀도를 데이터와 일치시키기 위해 이를 최소화한다.
• 하치슨의 추정기를 활용하여 스틸 산란도 내 자코비안의 트레이스를 효율적으로 계산함으로써, 확장 가능한 기울기 계산을 가능하게 한다.
• GAN과 유사하게, EBM과 크리틱을 번갈아 최적화하는 공동 훈련 방식을 적용한다. 다만 이는 밀도 모델링을 위한 것이다.
• 이 방법은 정규화 상수나 명시적 샘플링이 필요 없이 비정규화된 로그 밀도의 기울기 접근만으로도 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 샘플링에 의존하지 않고도 고차원 데이터와 모델 분포 사이의 스틸 산란도를 효과적으로 추정할 수 있는 신경망을 학습시킬 수 있는가?
• RQ2 신경망을 통해 크리틱 함수를 학습시키는 것이 기존의 샘플 기반 메트릭에 비해 비정규화 모델에 대해 더 신뢰할 수 있고 확장 가능한 적합도 검정을 가능하게 하는가?
• RQ3 학습된 스틸 산란도를 최소화하는 것이 가능도 기반 훈련의 효과적인 대안이 될 수 있는가? 특히 확장성 면에서 말이다.
• RQ4 LSD 기반 훈련 목표가 표준 목표 함수(예: 대비 분산 또는 스코어 매칭)에 비해 실제 가능도 향상 정도를 얼마나 정확히 추적하는가?
• RQ5 전통적인 MCMC 기반 방법이 확장성에 실패하는 고차원 설정에서 LSD는 모델 평가 및 훈련을 얼마나 향상시킬 수 있는가?

주요 결과

• LSD는 벤치마크 데이터셋에서 고차원 적합도 검정에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• 특히 고차원 설정에서, LSD 기반 훈련 목표는 대비 분산이나 스코어 매칭과 같은 표준 목표 함수보다 가능도를 더 정확히 추적한다.
• 샘플링 없이도 에너지 기반 모델의 확장 가능한 훈련을 가능하게 하며, 차원 수가 증가함에 따라 성능이 유연하게 유지된다.
• 신경망 기반 크리틱은 고차원에서 스틸 산란도를 신뢰성 있게 추정하는 데 성공하여, 딥 러닝이 복잡한 산란도 측정치를 효과적으로 근사할 수 있음을 보여준다.
• LSD는 비정규화 모델의 훈련과 평가를 위한 통합 프레임워크를 제공하여, 별도의 샘플러나 히우리스틱 메트릭이 필요 없도록 한다.
• 이미지 데이터셋에서의 실험 결과, LSD로 훈련된 모델는 경쟁 가능한 샘플 품질을 유지하면서도 표준 목표 함수로 훈련된 모델보다 더 나은 분포 충실도를 보였다.