[논문 리뷰] Generalization and Memorization: The Bias Potential Model

Hongkang Yang, E Weinan|arXiv (Cornell University)|2020. 11. 29.

Statistical Mechanics and Entropy참고 문헌 53인용 수 8

한 줄 요약

이 논문은 기계학습에서 분포 학습을 분석하기 위한 취급 가능한 프레임워크로 편향 포텐셜 모델을 제안하며, 최적의 정지가 결국 기억 또는 발산하는 바람에 입력 차원에 관계없이 일반화 오차가 독립된다는 것을 보여준다. 주요 기여는 적절한 함수 공간을 사용할 경우, 최적 정지 솔루션이 입력 차원 $ d $ 와 무관하게 $ O(n^{-\alpha_2}) $ 으로 유계 generalization 오차를 달성한다는 이론적 보장을 제공한다는 점이며, 생성 모델에서 기억과 일반화 간의 갈등을 해결한다.

ABSTRACT

Models for learning probability distributions such as generative models and density estimators behave quite differently from models for learning functions. One example is found in the memorization phenomenon, namely the ultimate convergence to the empirical distribution, that occurs in generative adversarial networks (GANs). For this reason, the issue of generalization is more subtle than that for supervised learning. For the bias potential model, we show that dimension-independent generalization accuracy is achievable if early stopping is adopted, despite that in the long term, the model either memorizes the samples or diverges.

연구 동기 및 목표

• GAN과 같은 분포 학습 모델에서 훈련 데이터를 결국 기억함에도 불구하고 실질적으로 잘 일반화되는 현상에 대한 역설을 해결하기 위해.
• 장기적으로 기억 또는 발산하는 바람에 좋은 일반화가 이루어지는 이유를 설명하는 이론적 프레임워크를 수립하기 위해.
• 고차원 분포 학습에서 모델 표현력, 표본 오차, 훈련 동역학 간의 상호작용을 분석하기 위해.
• 일부 표현력 있는 분포 모델에 대해 차원에 독립적인 사전 일반화 오차 추정치를 제공하기 위해.
• 분포 학습 모델을 변분법 문제로 재구성함으로써 더 안정적이고 일반화 가능한 모델 설계를 위한 수학적 기초를 마련하기 위해.

제안 방법

• 함수 $ f $ 를 매개변수로 하는 편향 포텐셜 모델을 연속적인 변분법 문제로 공식화하며, 목표 분포 $ Q_* $ 와의 발산을 최소화하는 훈련 목표 $ L(Q) $ 를 설정한다.
• 낮은 라데마처 복잡도를 보장하기 위해 랜덤 특징 표현 $ f_{\mathbf{w}}(\mathbf{x}) = a(\mathbf{w})\sigma(\mathbf{w} \cdot \tilde{\mathbf{x}}) $ 를 사용하여 표본 오차 $ Q_* - Q_*^{(n)} $ 에 대한 강건성을 확보한다.
• 집중 불등식과 라데마처 복잡도 경계를 적용하여 진짜 손실과 경험적 손실 간의 편차를 통제하고 일반화 오차 추정치를 도출한다.
• 훈련 궤적 $ Q(f(t)) $ 가 암묵적 정규화로 인해 목표 $ Q_* $ 로 빠르게 수렴한 후에야 궁극적으로 경험 분포 $ Q_*^{(n)} $ 를 기억하거나 발산한다는 것을 보여준다.
• 손실의 볼록성과 함수 공간의 유계성에 기반해 사전 오차 경계를 유도하며, 초기 정지 시간에서 일반화 오차가 $ O(n^{-\alpha_2}) $ 로 감소함을 보인다.
• 일반화 오차가 작고 차원에 독립적인 초기 정지 간격 $[T_{\min}, T_{\max}]$ 를 식별하며, $ T_{\min} \ll n^{\alpha_1} \ll T_{\max} $ 를 만족한다.

실험 결과

연구 질문

• RQ1 최종적으로 훈련 데이터를 기억하는 바람에 분포 학습 모델에서 차원에 독립적인 일반화가 달성될 수 있는가?
• RQ2 장기적 훈련이 기억을 유도함에도 불구하고, 최적 정지는 표현력 있는 모델(예: GAN)에서 왜 좋은 일반화를 가능하게 하는가?
• RQ3 함수 공간과 라데마처 복잡도는 분포 학습에서 표본 오차에 대한 민감도를 통제하는 데 어떤 역할을 하는가?
• RQ4 왜 일부 모델(예: GAN)은 차원에 따라 지수적 표본 복잡도를 가져도 실질적으로 잘 일반화되는가?
• RQ5 분포 모델의 훈련 동역학은 변분법 문제로 재구성될 수 있으며, 이는 이론적 분석을 가능하게 하는가?

주요 결과

• 최적 정지를 적용할 경우, 편향 포텐셜 모델의 일반화 오차는 입력 차원 $ d $ 와 무관하게 어떤 $ \alpha_2 > 0 $ 에 대해 $ O(n^{-\alpha_2}) $ 로 감소한다.
• 모델은 두 가지 다른 훈련 단계를 보이며, 첫 번째 단계는 진짜 목표 $ Q_* $ 로의 빠른 수렴이며, 두 번째 단계는 궁극적으로 경험 분포 $ Q_*^{(n)} $ 를 기억하거나 발산하는 것이다.
• 표현력 있는 모델에서는 기억이 피할 수 없으며, 3.7조에서 보여지듯이 장기적으로 일반화 오차는 $ n^{-O(1/d)} $ 또는 $ \infty $ 로 악화된다.
• 랜덤 특징 모델의 라데마처 복잡도는 모델이 표본 오차에 민감하지 않음을 보장하여 느린 기억 현상이 발생하고, 결과적으로 넓은 초기 정지 창을 가능하게 한다.
• 손실의 볼록성과 농도 경계를 통해 차원에 독립적인 사전 일반화 오차 추정치가 확립되며, 이는 초기 정지 솔루션에 대해 유효하다.
• 다항식 표본 크기에서 초기 정지 간격 $[T_{\min}, T_{\max}]$ 가 충분히 넓어져 최적 정지가 강건하고 실용적이다.