[논문 리뷰] On the exact relationship between the denoising function and the data distribution

Heikki Arponen, Matti Herranen외 1명|arXiv (Cornell University)|2017. 09. 06.

NMR spectroscopy and applications참고 문헌 3인용 수 3

한 줄 요약

이 논문은 추가적인 가우시안 노이즈 하에서 최적의 노이즈 제거 함수와 데이터 분포 사이의 정확하고 역행 가능한 관계를 수립하며, 노이즈 제거 함수가 손상된 데이터 분포의 스코어 함수와 수학적으로 동치임을 보여준다. 주요 기여는 이전에 소음이 매우 작은 근처에서만 유효했던 결과를 임의의 노이즈 수준으로 일반화하여, 노이즈 제거가 로그 밀도의 기울기를 통해 데이터 만능구조를 암묵적으로 모델링한다는 것을 증명하는 것이다.

ABSTRACT

We prove an exact relationship between the optimal denoising function and the data distribution in the case of additive Gaussian noise, showing that denoising implicitly models the structure of data allowing it to be exploited in the unsupervised learning of representations. This result generalizes a known relationship [2], which is valid only in the limit of small corruption noise.

연구 동기 및 목표

• 추가 가우시안 노이즈 하에서 최적의 노이즈 제거 함수와 기저 데이터 분포 사이의 정밀하고 정확한 수학적 관계를 수립하기.
• 이전에 소음이 매우 작은 경우에만 유효했던 이론적 결과를 소음 수준에 관계없이 일반화하기.
• 노이즈 제거 학습이 손상된 데이터 분포의 스코어 함수를 모델링하여 데이터 만능구조의 전체 구조를 암묵적으로 포착함을 보여주기.
• 노이즈 제거 함수가 데이터 분포를 복원할 수 있도록 역행 가능함을 보여주어 정확한 표현 학습을 가능하게 하기.
• 노이즈 제거 오토인코더를 비지도 표현 학습의 원리적인 방법으로 사용하기 위한 이론적 기초를 마련하기.

제안 방법

• 최적의 노이즈 제거 함수를 최소 평균 제곱 오차(MMSE) 추정기로 유도하며, 이는 조건부 기대값 $ g^*(\tilde{x}) = \mathbb{E}[x|\tilde{x}] $ 로 주어진다.
• 베이즈의 정리를 사용하여 조건부 기대값을 사전 데이터 분포 $ p(x) $ 와 오염 가능성 $ p(\tilde{x}|x) $ 로 표현한다.
• 특정 형태의 추가 가우시안 노이즈 $ \tilde{x} = x + \sigma_n \epsilon $, $ \epsilon \sim \mathcal{N}(0,I) $ 를 적용하여 정확한 관계를 유도한다.
• 청결한 입력과 오염된 관측값을 연결하는 핵심 항등식 $ x p(\tilde{x}|x) = \tilde{x} p(\tilde{x}|x) + \sigma_n^2 \nabla_{\tilde{x}} p(\tilde{x}|x) $ 를 유도한다.
• 이 항등식을 $ x $ 에 대해 근사화하여 $ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p(\tilde{x}) $ 를 도출하며, 여기서 $ p(\tilde{x}) $ 는 오염된 데이터 분포이다.
• 경로 적분을 통해 이 관계가 역행 가능함을 보이며, $ g^* $ 로부터 $ p(\tilde{x}) $ 를 복원할 수 있고, 이를 통해 디컨볼루션을 통해 $ p(x) $ 도 복원할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 추가 가우시안 노이즈 하에서 최적의 노이즈 제거 함수와 데이터 분포 사이의 정확한 수학적 관계는 무엇인가?
• RQ2 이 관계는 이전에 소음이 매우 작은 근처에서만 유효했던 결과를 어떻게 일반화하는가?
• RQ3 노이즈 제거 함수를 사용하여 데이터 분포의 전체 구조, 특히 만능구조를 복원할 수 있는가?
• RQ4 노이즈 제거 함수와 데이터 분포 사이의 사상은 역행 가능한가?
• RQ5 딥러닝에서 노이즈 제거를 표현 학습 방법으로 사용하는 데 이론적 근거는 무엇인가?

주요 결과

• 최적의 노이즈 제거 함수는 정확히 $ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p(\tilde{x}) $ 로 주어지며, 여기서 $ p(\tilde{x}) $ 는 오염된 데이터 분포이다.
• 이 결과는 이전에 알려진 소음 제한 근사 $ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p_X(\tilde{x}) + o(\sigma_n^2) $ 를 임의의 노이즈 수준으로 일반화한 것이다.
• 노이즈 제거 함수와 데이터 분포 사이의 관계는 역행 가능하다: $ p(\tilde{x}) $ 는 $ g^* $ 로부터 경로 적분을 통해 복원할 수 있다.
• 노이즈 제거 함수는 오염된 분포의 스코어 함수를 통해 데이터 만능구조의 전체 구조를 암묵적으로 캡처한다.
• 사상 $ p(x) \longleftrightarrow p(\tilde{x}) \longleftrightarrow g^*(\tilde{x}) $ 는 정확하고 역행 가능하며, 이는 노이즈 제거가 전체 데이터 분포를 학습함을 증명한다.
• 결과적으로, 노이즈 제거 오토인코더는 표준 회귀와 달리 단순한 조건부 기대값을 넘어서 복잡한 데이터 구조를 학습할 수 있음을 보여준다.