[논문 리뷰] Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis

Adam Block, Youssef Mroueh외 2명|arXiv (Cornell University)|2020. 06. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 고차원 이미지 데이터가 낮은 차원의 다양체 위에 또는 그 근처에 위치해 있다는 다각체 가설 하에서, 다중 척도 랑주비안 역학이 빠른 혼합을 달성함을 보여주며, 혼합 시간은 임베딩 픽셀 차원이 아니라 본질적 차원에 비례함을 밝힌다. 리만 기하학과 다중 해상도 샘플링 기법을 활용함으로써 계산 비용을 줄이면서도 높은 이미지 품질을 유지하며, 고차원 비볼록 이미지 생성 환경에서의 빠른 경험적 혼합 현상에 대한 역설을 해결한다.

ABSTRACT

Recently, the task of image generation has attracted much attention. In particular, the recent empirical successes of the Markov Chain Monte Carlo (MCMC) technique of Langevin Dynamics have prompted a number of theoretical advances; despite this, several outstanding problems remain. First, the Langevin Dynamics is run in very high dimension on a nonconvex landscape; in the worst case, due to the NP-hardness of nonconvex optimization, it is thought that Langevin Dynamics mixes only in time exponential in the dimension. In this work, we demonstrate how the manifold hypothesis allows for the considerable reduction of mixing time, from exponential in the ambient dimension to depending only on the (much smaller) intrinsic dimension of the data. Second, the high dimension of the sampling space significantly hurts the performance of Langevin Dynamics; we leverage a multi-scale approach to help ameliorate this issue and observe that this multi-resolution algorithm allows for a trade-off between image quality and computational expense in generation.

연구 동기 및 목표

• 이론적으로는 지수적 혼합 시간이 기대되는 고차원 이미지 생성 환경에서 랑주비안 역학이 왜 빠른 혼합을 보이는지 설명하기.
• 이론적으로는 고차원 비볼록 경관에서 느린 혼합이 기대되나, 실제로는 이미지 생성에서 신속한 수렴이 관찰되는 데서 발생하는 괴리 현상을 설명하기.
• 데이터가 낮은 차원의 다각체 위에 존재한다는 다각체 가설이 효과적 차원을 감소시켜 빠른 혼합을 설명할 수 있음을 제안하기.
• 이미지 품질과 계산 비용 간의 트레이드오프를 가능하게 하는 다중 척도 랑주비안 역학 알고리즘을 개발하기.
• 다각체 가설을 다각도 실험과 FID 점수를 통해 다중 해상도 샘플링 기법에 대해 실증적으로 검증하기.

제안 방법

• 다양체 위에서 로그-소볼레프 상수와 딜리클레 형식을 분석하기 위해 리만 기하학을 적용하여, 로그-소볼레프 상수가 본질적 차원에만 의존함을 보여줌.
• 다각체 가설을 통해 데이터 분포의 로그-소볼레프 상수를 본질적 차원의 함수로 경계함으로써, 고임베딩 차원에서도 빠른 혼합이 가능함을 보장함.
• 저해상도 노이즈에서 시작하여 점차 고해상도로 정밀화하는 점수 기반 모델을 사용하는 다중 척도 랑주비안 역학 알고리즘(mr-Langevin)을 설계함.
• 저해상도 샘플을 업샘플링하기 위해 초해상도 네트워크를 통합하여 고해상도 랑주비안 단계 적용 전에 샘플을 개선함으로써 점진적 정밀화를 가능하게 함.
• 노이즈 수준을 점차 감소시키는 안내된 랑주비안 역학을 사용하여 거친 단계에서부터 세밀한 단계로 이르기까지 안정적인 샘플링과 수렴 향상을 도모함.
• 임베딩 공간에서 다각체로의 사영 지도의 자코비안을 활용하여 딜리클레 형식을 경계하고 혼합 시간 경계를 유도함.

실험 결과

연구 질문

• RQ1 이론적으로는 지수적 혼합 시간이 예상되는 고차원 이미지 생성 환경에서 랑주비안 역학이 왜 빠르게 혼합되는가?
• RQ2 다각체 가설이 비볼록 고차원 이미지 데이터에서 랑주비안 역학의 빠른 혼합을 설명할 수 있는가?
• RQ3 다중 척도 샘플링은 랑주비안 기반 생성 모델링에서 이미지 품질과 계산 비용 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 저해상도 노이즈에서 시작하여 고해상도 랑주비안 단계를 통해 점진적으로 정밀화할 경우 샘플 품질과 FID 점수에 어떤 영향을 미치는가?
• RQ5 다각도 실험을 통해 다중 해상도 샘플링이 다각체 가설 하에서 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 다각체 가설 하에 랑주비안 역학의 혼합 시간은 데이터 다양체의 본질적 차원에만 의존하며, 임베딩 픽셀 차원에는 영향을 받지 않음.
• 데이터 분포의 로그-소볼레프 상수는 본질적 차원의 함수로 경계되며, 이는 고임베딩 차원에서도 빠른 혼합이 가능함을 보여줌.
• 다중 척도 랑주비안 알고리즘(mr-Langevin)은 이미지 품질과 계산 비용 간의 트레이드오프를 달성하며, 더 많은 저해상도 단계를 사용할수록 FID 점수가 향상됨.
• 다각도 실험에서 2개의 저해상도 단계를 거친 후 고해상도 샘플링을 수행하는 mr-Langevin(LRS-2↑-HRS-9)은 CelebA-64×64에서 FID 19.34를 기록하여 표준 HRS(20.17)와 LRS-↑(37.20)를 모두 초월함.
• 가장 우수한 다중 해상도 기법(LRS-2↑-HRS-9)은 FID 19.34를 기록하여 표준 HRS(20.17)보다 유의미하게 높은 성능을 보이며, 다중 척도 샘플링이 다각체 가설 하에서 샘플 품질 향상에 기여함을 확인함.
• 다각도 실험 결과, 노이즈 수준과 업샘플링 방법의 선택이 FID에 크게 영향을 미치며, 이중 보간보다 초해상도 네트워크가 더 뛰어난 성능을 보임.