[논문 리뷰] A Differential Topological View of Challenges in Learning with Feedforward Neural Networks

Hao Shen|arXiv (Cornell University)|2018. 11. 26.

Topological and Geometric Data Analysis참고 문헌 39인용 수 5

한 줄 요약

이 논문은 데이터를 매끄러운 다양체로 모델링하고 네트워크를 다양체 간의 매끄러운 사상의 조합으로 간주함으로써, 순전파 신경망의 核심 과제—표현력, 최적화 가능성, 일반화 능력—을 분석하기 위한 미분위상수학적 프레임워크를 제안한다. 이를 통해 전 Rank 행렬이 데이터 다양체의 매끄러운 임bedding을 보장함을 입증하고, 활성화 함수의 매끄러움에서 기인하는 암묵적 정규화 효과를 규명하며, 복잡한 네트워크 아키텍처에서의 병목 구조가 몰입 위상수학을 통해 불변 표현 학습을 가능하게 함을 보여준다.

ABSTRACT

Among many unsolved puzzles in theories of Deep Neural Networks (DNNs), there are three most fundamental challenges that highly demand solutions, namely, expressibility, optimisability, and generalisability. Although there have been significant progresses in seeking answers using various theories, e.g. information bottleneck theory, sparse representation, statistical inference, Riemannian geometry, etc., so far there is no single theory that is able to provide solutions to all these challenges. In this work, we propose to engage the theory of differential topology to address the three problems. By modelling the dataset of interest as a smooth manifold, DNNs can be considered as compositions of smooth maps between smooth manifolds. Specifically, our work offers a differential topological view of loss landscape of DNNs, interplay between width and depth in expressibility, and regularisations for generalisability. Finally, in the setting of deep representation learning, we further apply the quotient topology to investigate the architecture of DNNs, which enables to capture nuisance factors in data with respect to a specific learning task.

연구 동기 및 목표

• 딥 네트워크의 근본적인 과제—표현력, 최적화 가능성, 일반화 능력—을 미분위상수학을 통해 해결하고자 한다.
• 데이터셋을 매끄러운 다양체로 모델링하고, DNN를 다양체 간의 매끄러운 사상의 조합으로 표현하고자 한다.
• 학습 과정에서 표현의 매끄럽고 비퇴화된 상태를 보장하기 위해 전 Rank 가중치 행렬의 역할을 조사하고자 한다.
• 매끄럽고 단조적이고 리프시츠 연속인 활성화 함수에서 기인하는 암묵적 정규화 효과를 분석하고자 한다.
• 병목 아키텍처를 갖춘 딥 네트워크 아키텍처가 몰입 위상수학을 통해 어떻게 불변 표현을 학습할 수 있는지 탐구하고자 한다.

제안 방법

• 입력 데이터를 매끄러운 다양체로 모델링하고, 피드포워드 신경망의 각 층을 다양체 간의 매끄러운 사상으로 표현한다.
• 매끄러운 사상의 조합을 통해 전체 DNN를 입력 공간에서 출력 공간으로의 매끄러운 사상으로 정의한다.
• 손실 곡면 분석을 위해 미분위상수학 도구를 적용하여, 전 Rank 가중치 행렬이 매끄러움을 유지하고 퇴화를 방지함을 보여준다.
• 활성화 함수의 매끄러움과 리프시츠 연속성의 영향을 분석함으로써 암묵적 정규화 효과를 조사한다.
• 불변 표현을 모델링하기 위해 몰입 위상수학을 활용하며, 특히 병목 아키텍처에서의 적용을 중심으로 한다.
• 예를 들어 스위스롤에서 원으로의 변형, 팔자 곡선 등의 다양체 임bedding 작업을 수행하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 미분위상수학은 깊은 네트워크가 얕은 네트워크보다 표현력 면에서 어떻게 설명될 수 있는가?
• RQ2 전 Rank 가중치 행렬이 손실 곡면에서 매끄럽고 비퇴화된 표현을 보장하는 데 어떤 역할을 하는가?
• RQ3 매끄럽고 단조적이며 리프시츠 연속인 활성화 함수는 학습된 네트워크에서 일반화를 암묵적으로 어떻게 정규화하는가?
• RQ4 딥 네트워크의 병목 아키텍처는 몰입 위상수학을 통해 불변 표현 학습을 어떻게 가능하게 하는가?
• RQ5 매끄러운 다양체 모델링은 기울기 기반 최적화의 성공을 어떻게 설명할 수 있는가?

주요 결과

• 전 Rank 가중치 행렬은 입력 다양체가 출력 공간으로 매끄럽게 임베딩되도록 보장하며, 퇴화를 방지하는 데 필수적이다.
• 매끄럽고 단조적이며 리프시츠 연속인 활성화 함수는 일반화를 암묵적으로 정규화하며, 기울기가 더 급격할수록(예: 시그모이드 함수의 'a' 값이 클수록) 일반화 성능이 떨어지는 경향이 있다.
• 병목 층을 갖는 딥 네트워크(5층 FNN)는 정보 손실이 없는 얕은 네트워크(4층 FNN)와 유사한 일반화 오차를 달성하여, 최소한의 폭 축소로도 불변 표현 학습이 가능함을 시사한다.
• 다양체 학습 작업(예: 스위스롤에서 원으로의 변형)에 대한 실험 결과, DNN가 복잡한 다양체를 목표 다양체로 매끄럽게 변형할 수 있음을 보여주며, 학습 과정에서 출력 궤적도 연속적으로 변형됨을 확인했다.
• 몰입 위상수학을 활용한 이론적 분석은 깊은 아키텍처가 불필요한 변형을 제거하고 데이터의 노이즈 요소를 자연스럽게 투영함으로써, 잡음 요소를 효과적으로 포착할 수 있음을 밝혀냈다.
• 입력 공간에서 대각선 경로를 따라 네트워크 출력이 매끄럽게 변형되는 것을 확인함으로써, DNN가 데이터 다양체에 대해 연속적이고 미분 가능한 변환을 수행함을 확인했다.