[논문 리뷰] Implicit Generation and Modeling in Energy-Based Models

Yilun Du, Igor Mordatch|arXiv (Cornell University)|2019. 01. 01.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 168

한 줄 요약

이 논문은 연속 신경망에서 에너지 기반 모델(EBM)에 대한 확장 가능한 MCMC 기반 훈련을 제안하며, ImageNet 및 로봇 궤적 데이터에서 고품질의 암묵적 생성을 가능하게 한다. 샘플 품질, 이상치 탐지, 적대적 공격에 대한 강건성, 장기 궤적 예측에서 최신 기술 수준의 성능을 달성하여 EBM이 다양한 학습 과제에서 유연하게 활용될 수 있음을 보여준다.

ABSTRACT

Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.

연구 동기 및 목표

• 고차원 연속 데이터에서 계산 및 샘플링의 어려움으로 인해 오랫동안 해결되지 않았던 에너지 기반 모델(EBM) 훈련의 과제를 해결한다.
• ImageNet 및 로봇 손의 궤적과 같은 복잡한 데이터 분포에 대해 효과적인 암묵적 생성을 가능하게 한다.
• GAN과 비교해도 경쟁 가능한 샘플 품질을 달성하면서도 모든 데이터 모드를 커버할 수 있음을 보여준다.
• 생성 외의 응용 분야인 이상치 탐지, 적대적 공격에 대한 강건성, 지속적 학습 등에서 EBM의 유용성을 탐색한다.
• 통합된 EBM 프레임워크 내에서 구성성 및 이미지 복원과 같은 암묵적 생성의 고유한 능력을 탐구한다.

제안 방법

• 고차원 공간에서의 확장 가능한 최적화를 가능하게 하기 위해 연속 신경망에서 EBM에 MCMC 기반 훈련을 도입한다.
• 샘플링 효율성과 EBM 훈련의 안정성을 향상시키기 위해 스코어 기반 생성 모델링 원리를 활용한다.
• 명시적 우도 계산 없이 에너지 함수를 근사하기 위해 노이즈 대비 추정 유사 목적함수를 사용한다.
• MCMC 샘플링을 신경망 파rameter화와 통합하여 대규모 데이터셋에서 엔드 투 엔드 훈련을 가능하게 한다.
• 훈련된 EBM을 이상치 탐지 및 적대적으로 트레이닝된 분류 과제와 같은 후행 작업에 적용한다.
• 암묵적 모델 구조를 활용해 별도의 디코더 네트워크 없이도 구성성 및 이미지 복원 작업을 수행한다.

실험 결과

연구 질문

• RQ1 MCMC 기반 EBM 훈련이 ImageNet 및 로봇 궤적과 같은 고차원 데이터로 확장 가능한가?
• RQ2 EBM 기반 암묵적 생성의 샘플 품질은 우도 기반 모델 및 GAN과 비교해 어떻게 되는가?
• RQ3 EBM이 명시적 생성 헤드 없이 구성성 생성과 이미지 인페인팅을 얼마나 잘 지원할 수 있는가?
• RQ4 EBM이 이상치 탐지 및 적대적 공격에 대한 강건성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 EBM은 지속적인 온라인 클래스 학습 및 장기 궤적 예측에 얼마나 효과적인가?

주요 결과

• 제안된 MCMC 기반 EBM 훈련은 ImageNet32x32 및 ImageNet128x128에서 현존하는 GAN 및 다른 우도 기반 모델과 견줄 만한 샘플 품질을 달성하거나 초월한다.
• 모델은 데이터 분포의 모든 모드를 성공적으로 커버하여 생성 모델에서 흔히 발생하는 모드 붕괴를 방지한다.
• EBM은 이상치 탐지에서 강력한 성능을 보이며, 벤치마크에서 최신 기술 수준의 결과를 달성한다.
• 모델은 적대적 공격에 대한 강건성을 보이며, 적대적으로 트레이닝된 분류 과제에서 표준 생성 모델을 능가한다.
• EBM은 치명적인 잊힘 없이 새로운 클래스에 적응할 수 있는 최신 기술 수준의 지속적 온라인 클래스 학습을 가능하게 한다.
• 암묵적 생성 프레임워크는 일관된 장기 궤적 롤아웃과 효과적인 이미지 인페인팅 및 복원을 지원한다.