[논문 리뷰] On Characterizing the Capacity of Neural Networks using Algebraic Topology

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|2018. 02. 13.

Topological and Geometric Data Analysis참고 문헌 21인용 수 60

한 줄 요약

이 논문은 persistent homology를 사용하여 데이터의 복잡성을 정량화하고, 네트워크의 위상적 용량(topological capacity)을 정의하며, 다양한 아키텍처에서 관찰된 경험적 위상 전이를 바탕으로 위상 기반 아키텍처 선택 접근법을 제안한다.

ABSTRACT

The learnability of different neural architectures can be characterized directly by computable measures of data complexity. In this paper, we reframe the problem of architecture selection as understanding how data determines the most expressive and generalizable architectures suited to that data, beyond inductive bias. After suggesting algebraic topology as a measure for data complexity, we show that the power of a network to express the topological complexity of a dataset in its decision region is a strictly limiting factor in its ability to generalize. We then provide the first empirical characterization of the topological capacity of neural networks. Our empirical analysis shows that at every level of dataset complexity, neural networks exhibit topological phase transitions. This observation allowed us to connect existing theory to empirically driven conjectures on the choice of architectures for fully-connected neural networks.

연구 동기 및 목표

• 대수적 위상수학을 통해 데이터셗의 기하학적 복잡성을 형식화하여 아키텍처 선택에 정보를 제공한다.
• 네트워크가 데이터 토폴로지를 표현하고 일반화하는 능력을 측정하는 지표로서 topological capacity를 도입한다.
• 데이터 homology가 신경망 아키텍처 전반의 학습에 어떻게 영향을 미치는지 실험적으로 특성화한다.
• 데이터의 persistent homology를 최소 표현 능력과 연결하여 위상적 아키텍처 선택을 제안한다.
• OpenML 및 실제 데이터셋에서 실용적 적용 가능성을 보여준다.

제안 방법

• 데이터와 결정 영역의 위상적 복잡성을 정량화하기 위해 persistent homology를 채택한다.
• 지원 호몰로지 H_S(f)를 정의하고 이를 분류기 f의 양의 결정 영역과 연관시킨다.
• 동형성 일반화 원칙을 확립한다: 어떤 아키텍처가 주어진 호몰로지를 구현할 수 없으면 데이터 부분집합을 잘못 분류하게 된다(정리 3.1).
• 깊이와 첫 레이어 너비를 바꿔가며 ReLU를 사용하는 fully connected 네트워크로 경험적 실험을 수행하여 호몰로지 표현력을 연구한다.
• E_H^p(f, D) = min{β_p(f)/β_p(D), 1}를 계산·분석하여 아키텍처가 데이터 homology를 얼마나 잘 표현하는지 평가한다.
• 지속 다이어그램/필트레이션을 사용하여 데이터 토폴로지를 최소 표현 아키텍처와 연결하고 파생 경계(Eq. 3.1, Eq. 4.1)를 통해 h_phase를 추정한다.
• OpenML 데이터셋에 대해 데이터 지속 특성으로부터 h_phase의 하한을 도출하여 실제로 위상적 아키텍처 선택을 적용한다.

실험 결과

연구 질문

• RQ1 데이터의 동형성적(위상적) 복잡성이 신경망의 표현력과 일반화에 어떻게 제약을 가하는가?
• RQ2 주어진 데이터셋에 대해 최소 충분 용량(h_phase)을 예측함으로써 persistent homology가 신경망 아키텍처 선택을 안내할 수 있는가?
• RQ3 데이터 homology가 증가함에 따라 관찰되는 신경망의 위상 전이는 무엇인가?
• RQ4 합성 구성 외의 실제 데이터셋(OpenML, CIFAR-10, UCI 등)으로 토폴로지 기반 예측이 얼마나 잘 이전될 수 있는가?

주요 결과

• 데이터 토폴로지가 더 복잡해짐에 따라 신경망은 표현력에서 위상 전이를 보인다.
• 더 위상적으로 복잡한 데이터에서 수렴하지 않는 네트워크가 존재하는 위상 임계치 h_phase가 있으며, 그 이상에서 수렴 동작이 달라지는 경향이 있다.
• persistent homology 특징으로부터 도출된 h_phase의 실증적 추정은 여러 경우에 예측된 위상에서 거의 제로 오류를 보이는 강력한 아키텍처 선택의 출발점을 제공한다.
• 고차 호몰로지(beta1 이상)는 얕은 네트워크로 학습하기 어렵고, 더 깊은 네트워크는 복잡성 증가의 대가로 학습 가능 범위를 더 높은 호몰로지로 확장한다.
• CIFAR-10 및 여러 UCI/OpenML 데이터셋은 비자명한 persistent homology를 보여주며 실제 데이터에 대한 토폴로지 측정의 실용성을 검증한다.
• 이 프레임워크는 persistence diagrams에서 도출된 topological capacity 추정치를 이용해 탐색을 제약함으로써 데이터 우선 아키텍처 검색을 가능하게 한다.