[논문 리뷰] Estimating High Order Gradients of the Data Distribution by Denoising

Chenlin Meng, Yang Song외 2명|arXiv (Cornell University)|2021. 11. 08.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 일반화된 Tweedie의 공식을 사용하여 샘플에서 데이터 밀도의 고차수 도함수(예: 헤시안)를 직접 추정하는 새로운 방법을 제안한다. 이는 노이즈 제거 스코어 매칭을 고차수 스코어로 확장함으로써 이루어지며, 자동 미분에 비해 더 정확하고 효율적인 2차 스코어 추정을 가능하게 하여 랭글레인 역동성의 샘플링 속도를 향상시키고 노이즈 제거 작업에서의 불확실성을 정량화한다.

ABSTRACT

The first order derivative of a data density can be estimated efficiently by denoising score matching, and has become an important component in many applications, such as image generation and audio synthesis. Higher order derivatives provide additional local information about the data distribution and enable new applications. Although they can be estimated via automatic differentiation of a learned density model, this can amplify estimation errors and is expensive in high dimensional settings. To overcome these limitations, we propose a method to directly estimate high order derivatives (scores) of a data density from samples. We first show that denoising score matching can be interpreted as a particular case of Tweedie's formula. By leveraging Tweedie's formula on higher order moments, we generalize denoising score matching to estimate higher order derivatives. We demonstrate empirically that models trained with the proposed method can approximate second order derivatives more efficiently and accurately than via automatic differentiation. We show that our models can be used to quantify uncertainty in denoising and to improve the mixing speed of Langevin dynamics via Ozaki discretization for sampling synthetic data and natural images.

연구 동기 및 목표

• 학습된 밀도 모델의 고차수 도함수를 자동 미분를 통해 추정할 때 발생하는 비효율성과 오차 증폭 문제를 해결하기 위해.
• 하위 순서 모델에 의존하지 않고 샘플 기반으로 고차수 스코어(예: 헤시안)를 직접 추정하는 방법을 개발하기 위해.
• Ozaki와 같은 고차수 이산화 방법을 가능하게 함으로써 스코어 기반 생성 모델의 샘플링 효율성을 향상시키기 위해.
• 청정 데이터의 조건부 공분산을 반영하는 2차 스코어를 추정함으로써 노이즈 제거 작업에서의 불확실성 정량화를 가능하게 하기 위해.
• 합성 및 자연 이미지 데이터 세트에서 이론적 타당성과 확장 가능성을 입증하기 위해.

제안 방법

• 조건부 모멘트와 고차수 스코어를 연결하는 고차수 Tweedie의 공식의 확장 형태를 유도함으로써, 노이즈 제거 스코어 매칭을 고차수로 확장한다.
• 최소 제곱 회귀를 사용하여 노이즈 제거 예측과 스코어 추정을 연결함으로써 고차수 도함수의 직접 학습을 가능하게 한다.
• 고차수 스코어 추정 목적 함수의 최적화 안정성을 향상시키기 위해 분산 감소 기법을 도입한다.
• 일반화된 Tweedie의 공식에서 유도된 미분 가능한 목적 함수를 사용하여, 2차 스코어(헤시안)를 직접 파arameterize하고 학습한다.
• 학습된 2차 스코어를 사용하여 Ozaki 이산화 방법을 적용함으로써 랭글레인 역동성에서 혼합 속도를 향상시킨다.
• 고차원에서의 계산 효율성을 유지하기 위해 헤시안의 대각형 또는 낮은 질량 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 하위 순서 모델의 자동 미분에 의존하지 않고 데이터 샘플에서 고차수 스코어를 직접 추정할 수 있는가?
• RQ2 Tweedie의 공식은 어떻게 확장되어 로그 밀도의 고차수 도함수를 추정할 수 있는가?
• RQ3 직접적인 고차수 스코어 추정은 자동 미분에 비해 더 정확하고 효율적인 헤시안 근사치를 제공하는가?
• RQ4 학습된 고차수 스코어는 랭글레인 역동성과 같은 샘플링 알고리즘의 혼합 속도를 향상시킬 수 있는가?
• RQ5 2차 스코어는 노이즈 제거 작업에서 의미 있는 불확실성 정량화를 제공할 수 있는가?

주요 결과

• MNIST 데이터셋에서 자동 미분 대비 2차 스코어 추정 속도가 최대 500배 빨라졌다.
• 제안된 목적 함수로 학습된 모델는 1차 스코어 모델의 자동 미분를 통해 얻은 것보다 더 정확하게 2차 스코어를 근사한다.
• 학습된 2차 스코어를 사용한 Ozaki 이산화 방법은 합성 및 MNIST 데이터셋에서 더 빠른 수렴 속도를 보이며, 랭글레인 역동성의 혼합 속도를 향상시킨다.
• 노이즈가 있는 관측값이 주어졌을 때 청정 데이터의 조건부 공분산을 추정함으로써, 노이즈 제거 작업에서 더 나은 불확실성 정량화를 가능하게 한다.
• 학습된 헤시안을 사용한 Ozaki 이산화 방법을 적용한 샘플링 체인은 MNIST에서 반복 과정 동안 더 높은 비율의 클래스 레이블 변화를 보이며, 더 높은 다양성을 확보한다.
• 낮은 질량 또는 대각형 헤시안 근사치를 사용함으로써 계산 효율성을 유지하여 고차원 데이터로의 확장성도 확보한다.