[논문 리뷰] Score Matching Model for Unbounded Data Score

Dong‐Jun Kim, Seungjae Shin외 3명|arXiv (Cornell University)|2021. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 10

한 줄 요약

이 논문은 기존의 노이즈 조건 스코어 네트워크를 수정함으로써 영점 노이즈에서의 스코어 발산 문제를 해결하는 새로운 스코어 기반 생성 모델인 Unbounded Noise Conditional Score Network(UNCSN)을 제안한다. 분석적으로 접근 가능한 로그우도를 가진 새로운 SDE와 균형 잡힌 손실 함수를 도입하여, 아키텍처 변경 없이도 더 안정적이고 이론적으로 타당한 데이터 분포 모델링을 가능하게 한다.

ABSTRACT

Recent advance in score-based models incorporates the stochastic differential equation (SDE), which brings the state-of-the art performance on image generation tasks. This paper improves such score-based models by analyzing the model at the zero perturbation noise. In real datasets, the score function diverges as the perturbation noise ($\sigma$) decreases to zero, and this observation leads an argument that the score estimation fails at $\sigma=0$ with any neural network structure. Subsequently, we introduce Unbounded Noise Conditional Score Network (UNCSN) that resolves the score diverging problem with an easily applicable modification to any noise conditional score-based models. Additionally, we introduce a new type of SDE, so the exact log likelihood can be calculated from the newly suggested SDE. On top of that, the associated loss function mitigates the loss imbalance issue in a mini-batch, and we present a theoretic analysis on the proposed loss to uncover the behind mechanism of the data distribution modeling by the score-based models.

연구 동기 및 목표

• 노이즈가 0에 수렴할 때 스코어 함수가 발산하는 스코어 기반 모델의 실패 문제를 해결하기 위해.
• 점점 줄어드는 노이즈의 극한에서도 스코어 추정의 안정성을 유지할 수 있는 방법을 개발하기 위해.
• 정확한 로그우도 계산이 가능한 새로운 확률적 미분 방정식(SDE)을 도입하기 위해.
• 스코어 기반 학습에서 미니배치 손실의 불균형을 완화하는 손실 함수를 설계하기 위해.
• 제안된 프레임워크 하에서 스코어 기반 모델이 데이터 분포를 어떻게 모델링하는지에 대한 이론적 분석을 제공하기 위해.

제안 방법

• 기존의 노이즈 조건 스코어 네트워크를 수정하여 영점 노이즈 극한을 다룰 수 있도록 하는 Unbounded Noise Conditional Score Network(UNCSN)를 제안하며, 아키텍처 변경 없이도 이를 구현한다.
• 기존 스코어 기반 생성 모델에서 사용된 SDE들과 달리 정확한 로그우도 계산이 가능한 새로운 SDE 설정을 도입한다.
• 미니배치 간 기울기 균형을 개선하여 학습 불안정성을 줄이는 새로운 손실 함수를 유도한다.
• 새로운 SDE 하에서 스코어 기반 모델의 이론적 행동을 분석하여 손실 함수가 데이터 분포 모델링 과정과 어떻게 연결되는지 규명한다.
• 기존의 표준 스코어 기반 생성 모델 파이프라인에 새로운 SDE와 손실 함수를 최소한의 수정으로 적용한다.

실험 결과

연구 질문

• RQ1 실제 데이터 분포에서 노이즈가 0에 수렴할수록 스코어 함수가 왜 발산하는가?
• RQ2 간단한 아키텍처 수정만으로도 스코어 기반 모델이 영점 노이즈 극한에서도 안정적이고 정확하게 유지될 수 있는가?
• RQ3 스코어 기반 모델에서 정확한 로그우도 계산이 가능한 SDE를 구성할 수 있는가?
• RQ4 제안된 손실 함수는 어떻게 미니배치 학습에서 기울기 불균형을 줄이는가?
• RQ5 새로운 SDE 프레임워크 하에서 스코어 기반 모델이 데이터 분포를 학습하는 이론적 메커니즘은 무엇인가?

주요 결과

• 제안된 UNCSN는 영점 노이즈에서의 스코어 발산을 효과적으로 방지하여, 점점 줄어드는 노이즈의 극한에서도 안정적인 스코어 추정을 가능하게 한다.
• 새로운 SDE는 기존의 표준 스코어 기반 SDE들과 달리 정확한 로그우도 계산이 가능하다.
• 제안된 손실 함수는 미니배치 간 기울기 균형을 개선하여 학습 불안정성을 줄이고 최적화 수렴을 향상시킨다.
• 이론적 분석을 통해 새로운 손실 함수가 스코어 기반 모델의 기본 데이터 분포 모델링 과정과 일치하는 것으로 밝혀졌다.
• 이 방법은 기존 스코어 기반 모델과 호환되며, 네트워크 헤드에 대한 최소한의 수정만으로도 구현 가능하다.