[논문 리뷰] Dimensionality compression and expansion in Deep Neural Networks

Stefano Recanatesi, Matthew Farrell외 4명|arXiv (Cornell University)|2019. 06. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 42

한 줄 요약

이 논문은 고유 차원성 추정을 사용하여 심층 신경망이 두 단계에서 낮은 차원 표현 매니폴드를 생성한다는 것을 보여준다: 초기 층의 확장과 이후 층의 축소, 그리고 이러한 힘들을 균형짓는 SGD 정규화가 일반화를 돕는다.

ABSTRACT

Datasets such as images, text, or movies are embedded in high-dimensional spaces. However, in important cases such as images of objects, the statistical structure in the data constrains samples to a manifold of dramatically lower dimensionality. Learning to identify and extract task-relevant variables from this embedded manifold is crucial when dealing with high-dimensional problems. We find that neural networks are often very effective at solving this task and investigate why. To this end, we apply state-of-the-art techniques for intrinsic dimensionality estimation to show that neural networks learn low-dimensional manifolds in two phases: first, dimensionality expansion driven by feature generation in initial layers, and second, dimensionality compression driven by the selection of task-relevant features in later layers. We model noise generated by Stochastic Gradient Descent and show how this noise balances the dimensionality of neural representations by inducing an effective regularization term in the loss. We highlight the important relationship between low-dimensional compressed representations and generalization properties of the network. Our work contributes by shedding light on the success of deep neural networks in disentangling data in high-dimensional space while achieving good generalization. Furthermore, it invites new learning strategies focused on optimizing measurable geometric properties of learned representations, beginning with their intrinsic dimensionality.

연구 동기 및 목표

• 왜 심층 신경망이 고차원 분류 문제를 효과적으로 해결하는지 연구한다.
• 네트워크 레이어 전체에서 데이터 및 학습된 표현의 고유 차원성을 정량화한다.
• 학습 역학이 차원성과 일반화에 어떻게 작용하는지 이해한다.

제안 방법

• 최첨단 고유 차원성 추정 기법을 적용하여 지역적 및 전역적 매니폴리다 차원성을 측정한다.
• Fashion-MNIST의 DeepNet과 CIFAR-10/CIFAR-100의 ResNet 두 네트워크를 학습시키고 층별 차원성을 분석한다.
• 학습 전후의 차원성을 비교하여 확장 및 축소 단계를 식별한다.
• SGD를 표현 차원성을 페널티하는 유효 정규화 항을 유도하는 것으로 모델링한다.
• 차원성에 대한 층 유형(합성곱, 완전연결) 및 비선형성(ReLU)의 역할을 분석한다.
• 차원성이 작업 요구사항과 특징 선택에 어떻게 관련되는지 해석하기 위해 선형 및 비선형 분석을 사용한다.

실험 결과

연구 질문

• RQ1 심층 네트워크의 각 층에서 데이터 매니폴드의 고유 차원성과 학습된 표현의 고유 차원성이 무엇인가?
• RQ2 학습 중 신경망이 차원성 확장과 축소의 뚜렷한 두 단계를 보이는가?
• RQ3 확률적 경사 하강법이 효과적인 정규화를 통해 표현의 차원성에 어떤 영향을 미치는가?
• RQ4 차원성이 일반화 및 작업 성능과 어떻게 관련되는가?

주요 결과

• 심층 네트워크의 표현 매니폴드는 층 크기에 비해 매우 저차원이다.
• 차원성은 초기 층에서 확장되고 학습 중 나중 층에서 축소된다.
• ReLU 비선형성은 차원성을 증가시키는 반면 ReLU에 앞서는 가중치 행렬은 표현의 축소를 유도한다.
• SGD는 작업과 관련 없는 방향을 축소하고 확장을 작업 수요에 맞추기 위해 균형을 맞추는 유효한 정규화를 도입한다.
• 더 넓은 네트워크가 학습된 매니폴드 차원성을 반드시 증가시키지 않으며, 차원은 네트워크 크기보다는 작업 수요와 SGD에 의해 결정될 수 있음을 시사한다.
• 차원 축소는 더 나은 일반화와 상관관계가 있으며 아키텍처 설계 크기 및 정규화 전략에 정보를 제공할 수 있다.