[논문 리뷰] Lightlike Neuromanifolds, Occam's Razor and Deep Learning

Ke Sun, Frank Nielsen|arXiv (Cornell University)|2019. 05. 27.

Neural Networks and Applications참고 문헌 51인용 수 8

한 줄 요약

이 논문은 심층 학습 일반화 역설을 해결하기 위해 신경망의 파rameter 공간을 특이 보조리만도이 맨ifold로 모델링하고, 정보기하학을 적용하여 파라미터 공간의 스펙트럼이 모델 복잡도를 감소시키는 최소 기술 길이(MDL) 기준을 유도한다. 또한 제프레이라는 비정보 우선분포와 가우시안 우선분포 사이를 보간하는 새로운 우선분포를 제안하여 고차원 가중치 공간에서 오크함의 날카움과 유사한 인도적 편향을 가능하게 한다.

ABSTRACT

How do deep neural networks benefit from a very high dimensional parameter space? Their high complexity vs stunning generalization performance forms an intriguing paradox. We took an information-theoretic approach. We find that the locally varying dimensionality of the parameter space can be studied by the discipline of singular semi-Riemannian geometry. We adapt Fisher information to this singular neuromanifold. We use a new prior to interpolate between Jeffreys' prior and the Gaussian prior. We derive a minimum description length of a deep learning model, where the spectrum of the Fisher information matrix plays a key role to reduce the model complexity.

연구 동기 및 목표

• 고용량의 심층 신경망이 강력한 일반화 성능을 달성하는 이유를 해결하는 것.
• 신경망의 파rameter 공간을 국소적으로 변화하는 차원성을 가지는 특이 보조리만도이 맨ifold로 모델링하여 국소적 차원성을 분석하는 것.
• 특이 뉴로맨ifold에 적합한 피셔 정보를 적용하여 모델 복잡도 추정을 향상시키는 것.
• 피셔 정보 행렬의 스펙트럼을 포함하는 최소 기술 길이(MDL) 기준을 도출하는 것.
• 제프레이라는 우선분포와 가우시안 우선분포 사이를 보간하는 새로운 우선분포를 도입하여 고차원 학습 환경에서 오크함의 날카움을 강화하는 것.

제안 방법

• 미분기하학을 사용하여 심층 신경망의 파arameter 공간을 특이 보조리만도이 맨ifold로 공식화하는 것.
• 특이 뉴로맨ifold에 적합한 피셔 정보 메트릭을 적용하여 국소적 차원성 분석을 가능하게 하는 것.
• 제프레이라는 비정보 우선분포와 가우시안 우선분포 사이를 부드럽게 보간하는 하이브리드 우선분포를 제안하는 것.
• 모델 복잡도가 피셔 정보 행렬의 고유값에 의존하는 최소 기술 길이(MDL) 공식을 도출하는 것.
• 피셔 정보 행렬의 스펙트럼을 사용하여 효과적 모델 복잡도를 정량화하고 고차원 설정에서 오크함의 날카움을 가능하게 하는 것.
• 정보이론 원리를 적용하여 파arameter 공간의 기하학적 구조와 일반화 성능를 연결하는 것.

실험 결과

연구 질문

• RQ1 심층 네트워크의 파arameter 공간에서 국소적으로 변화하는 차원성이 모델 복잡도와 일반화에 어떤 영향을 미치는가?
• RQ2 특이 보조리만도이 맨ifold 기하학은 신경망 가중치 공간의 본질적 기하학을 어떻게 모델링할 수 있는가?
• RQ3 피셔 정보 행렬의 스펙트럼이 심층 학습 모델의 최소 기술 길이에 어떤 영향을 미치는가?
• RQ4 하이브리드 우선분포는 인도적 편향과 정보이론 기반 모델 선택 간의 균형을 어떻게 달성하는가?
• RQ5 고차원, 특이 파arameter 공간에서 오크함의 날카움은 어떻게 체계화하고 적용할 수 있는가?

주요 결과

• 심층 신경망의 파arameter 공간은 국소적으로 변화하는 차원성을 보이며, 이를 특이 보조리만도이 맨ifold 기하학을 통해 엄밀히 분석할 수 있다.
• 특이 뉴로맨ifold에 적합한 피셔 정보 메트릭은 효과적 모델 복잡도를 지배하는 스펙트럼을 드러낸다.
• 제안된 하이브리드 우선분포는 비정보 우선분포와 정규화된 인도적 편향 사이의 부드러운 전이를 가능하게 하여 일반화 성능을 향상시킨다.
• 피셔 스펙트럼에서 유도된 최소 기술 길이 기준은 고차원 설정에서 모델 복잡도를 줄이는 원칙적인 방법을 제공한다.
• 정보기하학적 프레임워크는 효과적 차원이 낮은 더 단순한 모델을 선호함으로써 고용량 네트워크에서도 오크함의 날카움을 지원한다.
• 결과적으로 고차원 파arameter 공간이 기하학적 및 정보이론적 정규화를 통해 강력한 일반화 성능를 달성할 수 있음을 보여준다.