[논문 리뷰] Training Deep Energy-Based Models with f-Divergence Minimization

Lantao Yu, Yang Song외 2명|arXiv (Cornell University)|2020. 03. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 11

한 줄 요약

이 논문은 어떤 f-분산(예: KL 분산이 아닌)을 사용하든 깊이 있는 에너지 기반 모델(EBM)을 훈련할 수 있도록 하는 변분 프레임워크인 f-EBM을 제안한다. 이론적 수렴 보장을 갖춘 단일 단계 최소화-최대화 최적화 문제로 공식화함으로써, f-EBM는 대조적 수렴(contrastive divergence)에 비해 더 뛰어난 샘플 품질과 강건성을 확보한다. 특히 이미지 생성 및 노이즈 제거 작업에서 젠센-쇼너( Jensen-Shannon ) 및 제곱 헬링거(Squared Hellinger) 분산을 사용할 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Deep energy-based models (EBMs) are very flexible in distribution parametrization but computationally challenging because of the intractable partition function. They are typically trained via maximum likelihood, using contrastive divergence to approximate the gradient of the KL divergence between data and model distribution. While KL divergence has many desirable properties, other f-divergences have shown advantages in training implicit density generative models such as generative adversarial networks. In this paper, we propose a general variational framework termed f-EBM to train EBMs using any desired f-divergence. We introduce a corresponding optimization algorithm and prove its local convergence property with non-linear dynamical systems theory. Experimental results demonstrate the superiority of f-EBM over contrastive divergence, as well as the benefits of training EBMs using f-divergences other than KL.

연구 동기 및 목표

• 깊이 있는 에너지 기반 모델(EBM)의 훈련을 오직 KL 분산을 통해만 수행하는 데서 비롯되는 제약을 해결하고자 한다. 이는 모드 커버리지와 샘플 품질의 유연성 제한을 초래한다.
• 모든 f-분산을 사용할 수 있도록 일반화된 변분 프레임워크를 개발하고자 한다. 이를 통해 다양한 훈련 목표를 지원한다.
• 비선형 동역학 시스템 이론을 활용해 제안된 최적화 알고리즘의 이론적 수렴 보장을 제공하고자 한다.
• 기존의 대조적 수렴에 비해 젠센-쇼너, 제곱 헬링거, 반전 KL 분산과 같은 대체 f-분산이 이미지 생성 및 재구성 작업에서 실용적 이점을 제공하는지 확인하고자 한다.

제안 방법

• f-EBM를 제안한다. 이는 데이터 분포와 모델 분포 간의 f-분산 최소화 문제를 최소화-최대화 최적화 문제로 공식화하는 변분 프레임워크이다.
• 단일 단계 기반 경사 하강 업데이트를 통해 f-분산을 근사하는 데 사용되는 에너지 함수와 변분 함수를 포함하는 이중 목표를 도입한다.
• 에너지 함수와 변분 함수를 동시에 업데이트하는 단일 단계 최소화-최대화 최적화 전략을 적용하여, 훈련 중에 반복적인 MCMC 샘플링을 피한다.
• 추론 및 훈련 중에 랭게비안 역학을 사용하고, 생성 안정성을 높이기 위해 리플레이 버퍼를 활용한다.
• 훈련 안정성과 일반화 성능 향상을 위해 스펙트럴 정규화와 L2 정규화를 적용한다.
• 비선형 동역학 시스템 이론을 활용해 국소 수렴을 이론적으로 증명함으로써 최적화 궤적의 안정성을 확립한다.

실험 결과

연구 질문

• RQ1 KL 분산 이외의 f-분산도 비정규화된 에너지 기반 모델을 훈련하는 데 효과적으로 사용될 수 있는가?
• RQ2 제안된 f-EBM 프레임워크는 대조적 수렴보다 더 뛰어난 샘플 품질과 분포 커버리지를 제공하는가?
• RQ3 f-EBM에서 학습된 밀도 비율은 인painting 및 노이즈 제거와 같은 후행 작업에서 성능 향상에 기여하는가?
• RQ4 f-EBM 최적화 알고리즘의 이론적 수렴 거동은 어떠한가?
• RQ5 모델의 잘못된 특정화 상황에서, 젠센-쇼너, 제곱 헬링거 등 다양한 f-분산이 이미지 생성 성능에 어떤 영향을 미치는가?

주요 결과

• f-EBM는 CIFAR-10 및 CelebA에서 대조적 수렴보다 뛰어난 샘플 품질을 보이며, 시각적 샘플에서 선명도와 다양성이 향상된 것으로 나타났다.
• 젠센-쇼너 및 제곱 헬링거 분산을 사용한 훈련은 인painting 및 노이즈 제거 작업에서 반전 KL 및 KL 기반 기준보다 뚜렷한 성능 향상을 보였다.
• f-EBM에서 학습된 밀도 비율은 효과적인 기각 샘플링을 가능하게 하여, 모델의 잘못된 특정화 상황에서도 진짜 데이터 분포를 회복할 수 있었다. 이는 대조적 수렴이 달성하지 못한 바이다.
• f-EBM는 약 50K~80K 반복 안에 수렴하며, 대조적 수렴(75K)과 유사한 반복 시간 복잡도(약 2배 이내)를 보였다.
• 중간 단계의 랭게비안 역학 샘플은 f-EBM 하에서 더 매끄럽고 일관성 있는 생성 궤적을 보였으며, 특히 제곱 헬링거 및 젠센-쇼너 분산을 사용할 경우 두드러졌다.
• 최근접 이웃 분석 결과, f-EBM가 생성한 이미지는 KL 기반 모델의 것보다 실제 훈련 이미지와 더 유사한 것으로 확인되어, 더 나은 분포 일치를 의미한다.