[논문 리뷰] Geometric Understanding of Deep Learning

Na Lei, Zhongxuan Luo외 2명|arXiv (Cornell University)|2018. 05. 26.

Topological and Geometric Data Analysis참고 문헌 20인용 수 34

한 줄 요약

이 논문은 자연 데이터가 저차원 다양체 위에 분포해 있음을 보여주며, 딥 뉴럴 네트워크(DNN)가 조각별 선형 매핑을 통해 이를 학습한다는 점을 바탕으로 딥 러닝의 성공을 기하학적 프레임워크로 설명한다. DNN의 학습 능력을 측정하기 위해 정규화된 선형 복잡도를 도입하고, 모든 고정된 DNN 아키텍처가 모든 다각형을 학습할 수 없음을 증명하며, 최적의 질량 운반 이론을 활용해 잠재 공간 분포를 명시적으로 제어함으로써 생성 모델링을 향상시킨다.

ABSTRACT

Deep learning is the mainstream technique for many machine learning tasks, including image recognition, machine translation, speech recognition, and so on. It has outperformed conventional methods in various fields and achieved great successes. Unfortunately, the understanding on how it works remains unclear. It has the central importance to lay down the theoretic foundation for deep learning. In this work, we give a geometric view to understand deep learning: we show that the fundamental principle attributing to the success is the manifold structure in data, namely natural high dimensional data concentrates close to a low-dimensional manifold, deep learning learns the manifold and the probability distribution on it. We further introduce the concepts of rectified linear complexity for deep neural network measuring its learning capability, rectified linear complexity of an embedding manifold describing the difficulty to be learned. Then we show for any deep neural network with fixed architecture, there exists a manifold that cannot be learned by the network. Finally, we propose to apply optimal mass transportation theory to control the probability distribution in the latent space.

연구 동기 및 목표

• 복잡한 데이터를 표현하는 데 딥 러닝이 성공하는 이유를 기하학적 이론으로 설명하는 것.
• 정규화된 선형 복잡도를 사용하여 딥 뉴럴 네트워크의 학습 능력을 정량화하는 것.
• 정규화된 선형 복잡도를 통해 임bedded 다각형의 인코딩의 본질적 어려움을 정의하는 것.
• 최적의 질량 운반 이론을 활용해 잠재 공간의 확률 분포를 명시적으로 제어하는 방법을 개발하는 것.
• 모든 가능한 다각형을 학습할 수 없는 고정된 DNN 아키텍처가 존재함을 보여주며, 이는 기본적인 이론적 한계를 드러내는 것.

제안 방법

• 데이터를 고차원 환경 공간에 임bedded된 저차원 비선형 다각형 위에 존재하도록 모델링한다.
• ReLU DNN의 정규화된 선형 복잡도를 정의하며, 이는 조각별 선형 함수에 포함된 선형 조각 수의 상한으로서, 표현 능력을 정량화한다.
• 임베딩된 다각형의 정규화된 선형 복잡도를 정의하며, 이는 조각별 선형 인코딩 맵에 필요한 최소 선형 조각 수로서, 인코딩의 어려움을 측정한다.
• 에코더와 디코더 맵을 통해 에코더와 디코더를 사용하여 다각형과 그 확률 분포를 학습하는 오토인코더를 사용한다.
• L^2 최적 운반 이론을 적용하여 단순한 사전 분포(예: 균일 또는 정규 분포)에서 에코더에 의해 유도된 진짜 잠재 분포로의 명시적 변환을 구성한다.
• 최적 운반 맵을 오토인코더 프레임워크에 통합하여, 더 높은 샘플 품질과 분포 제어를 가능하게 하는 OMT-오토인코더를 구성한다.

실험 결과

연구 질문

• RQ1 왜 딥 러닝은 고차원 자연 데이터를 표현하는 데 성공하는가?
• RQ2 딥 뉴럴 네트워크 성공의 근본적인 기하학적 원리는 무엇인가?
• RQ3 DNN의 학습 능력은 데이터 다각형의 복잡도와 어떻게 형식적으로 정량화될 수 있는가?
• RQ4 고정된 DNN 아키텍처가 다각형의 구조를 얼마나 학습할 수 있는지에 대한 이론적 한계가 존재하는가?
• RQ5 최적 운반 이론을 사용하여 오토인코더의 잠재 분포를 명시적으로 제어할 수 있으며, 이는 적대적 학습을 대체할 수 있는가?

주요 결과

• 딥 러닝의 성공의 근본적 이유는 자연 데이터가 저차원 비선형 다각형 근처에 집중되어 있음을 보여주는 다각형의 구조이다.
• 정규화된 선형 복잡도는 DNN의 표현 능력을 공식적으로 측정하는 데 사용되며, 복잡도가 높을수록 더 복잡한 함수를 표현할 수 있다.
• 다각형의 정규화된 선형 복잡도는 그 자체의 인코딩 어려움을 정량화하며, 높은 값은 더 복잡한 위상적 또는 기하학적 구조를 의미한다.
• 모든 고정된 DNN 아키텍처에 대해, 그 DNN의 능력을 초월하는 정규화된 선형 복잡도를 가진 다각형이 존재함을 증명하며, 이는 기본적인 학습 한계를 보여준다.
• MNIST와 CelebA에서의 실험 결과, OMT-오토인코더는 VAE와 WGAN보다 더 높은 품질의 샘플을 생성하며, 더 뛰어난 시각적 정밀도를 확보한다.
• 불다와 얼굴 표면 데이터셋에서, 오토인코더는 높은 재구성 정확도로 세밀한 기하학적 세부 정보를 유지하며, 235,771개의 입력 샘플에 대해 230,051개의 셀 분해를 달성하고, 하우스도르프 거리는 거의 0에 가까워진다.