[논문 리뷰] Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks

Tolga Birdal, Aaron Lou외 2명|arXiv (Cornell University)|2021. 11. 25.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

이 논문은 지속 호몰로지 차원(PHD)을 딥 뉴럴 네트워크의 일반화와 연결하는 새로운 위상적 프레임워크를 제안하며, 제약 조건이 없는 내재 차원 추정이 가능하게 한다. 미분 가능한 위상적 데이터 분석을 활용함으로써, 확장성 있고 최적화에 유리한 정규화 기법을 제공하며, 다양한 아키텍처와 최적화 방법에서 일반화 오차와 강한 상관관계를 보인다.

ABSTRACT

Disobeying the classical wisdom of statistical learning theory, modern deep neural networks generalize well even though they typically contain millions of parameters. Recently, it has been shown that the trajectories of iterative optimization algorithms can possess fractal structures, and their generalization error can be formally linked to the complexity of such fractals. This complexity is measured by the fractal's intrinsic dimension, a quantity usually much smaller than the number of parameters in the network. Even though this perspective provides an explanation for why overparametrized networks would not overfit, computing the intrinsic dimension (e.g., for monitoring generalization during training) is a notoriously difficult task, where existing methods typically fail even in moderate ambient dimensions. In this study, we consider this problem from the lens of topological data analysis (TDA) and develop a generic computational tool that is built on rigorous mathematical foundations. By making a novel connection between learning theory and TDA, we first illustrate that the generalization error can be equivalently bounded in terms of a notion called the 'persistent homology dimension' (PHD), where, compared with prior work, our approach does not require any additional geometrical or statistical assumptions on the training dynamics. Then, by utilizing recently established theoretical results and TDA tools, we develop an efficient algorithm to estimate PHD in the scale of modern deep neural networks and further provide visualization tools to help understand generalization in deep learning. Our experiments show that the proposed approach can efficiently compute a network's intrinsic dimension in a variety of settings, which is predictive of the generalization error.

연구 동기 및 목표

• 기존의 내재 차원 추정 방법이 위상적 규칙성과 펠러 과정과 같은 제약 조건이 있는 바탕에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 특히 지속 호몰로지에 기반한 위상적 데이터 분석(TDA)을 활용해 내재 차원을 추정하는 일반적이고 확장 가능한 계산 프레임워크를 개발하기 위해.
• 기존 통계학적 학습 이론의 제약을 우회하면서도, 지속 호몰로지 차원(PHD)과 일반화 오차 사이에 직접적이고 가정 없는 연결 고리를 구축하기 위해.
• PHD를 사용해 엔드 투 엔드로 미분 가능한 훈련 정규화를 가능하게 하여, 테스트 데이터에 접근하지 않더라도 일반화 성능을 향상시키기 위해.
• 위상적 지표를 통해 일반화 성질을 추정하고 시각화할 수 있는 실용적이고 오픈소스 도구를 제공하기 위해.

제안 방법

• 기존 연구에서 사용된 박스 차원 대신 지속 호몰로지 차원(PHD) 기반의 새로운 용량 측정 기준을 제안하며, 최적화 궤적에 대한 기하학적 또는 통계적 가정을 피한다.
• 최근 위상적 데이터 분석 분야에서의 이론적 진전을 활용해, 지속 호몰로지 계산을 기반으로 한 PHD 추정을 위한 효율적인 알고리즘을 개발한다.
• PHD 추정을 미분 가능한 형태로 재구성하여, 확률적 경사 하강법 훈련 중 정규화 기법으로 통합할 수 있도록 한다.
• 특히 노이즈가 많거나 균일하지 않은 데이터 영역에서의 안정성을 향상시키기 위해, RANSAC 기반의 강력한 선형 피팅 절차를 도입한다.
• 합성 및 실제 신경망 훈련 궤적을 활용해 추정기의 정확성과 일반화 상관관계를 검증한다.
• 재현 가능성과 TDA 및 딥 러닝의 융합 연구를 위한 기반을 제공하기 위해 오픈소스 코드를 공개한다.

실험 결과

연구 질문

• RQ1 지속 호몰로지 차원(PHD)은 딥 뉴럴 네트워크의 일반화에 대해 강건하고 가정 없는 용량 측정 기준으로 기능할 수 있는가?
• RQ2 PHD 추정은 두 번째 근접 이웃(2NN)과 같은 전통적 내재 차원 추정기와 비교해, 꼬리가 두꺼운 고차원 궤적 데이터에서 어떻게 성능을 보이는가?
• RQ3 PHD는 훈련 중에 어떻게 미분 가능한 정규화 기법으로 활용될 수 있으며, 이를 통해 테스트 성능을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 아키텍처와 최적화 방법에서 내재 차원 추정의 정확성과 안정성을 유지하는가?
• RQ5 테스트 세트에 접근하지 않더라도 PHD 추정은 일반화 오차를 효과적으로 예측할 수 있는가?

주요 결과

• 제안된 PHD 추정기는 합성 꼬리가 두꺼운 확산 과정에서 실제 내재 차원을 정확히 복원하며, 표본 크기 변화에 비해 과대 추정이 최소화되고 일관성이 높다.
• 꼬리 지수(내재 차원)가 변할 경우에도 PHD 추정은 안정적이고 정확하며, 꼬리가 두꺼운 영역에서 2NN보다 뛰어난 성능을 보인다.
• 다양한 신경망 아키텍처와 최적화 방법에서 추정된 PHD와 실제 일반화 오차 사이에 강력한 상관관계를 확립했다.
• 다양한 PHD 정규화 기법을 사용한 훈련은 테스트 정확도를 향상시키고 일반화 오차를 감소시키며, 특히 높은 학습률이나 작은 배치 크기 등 최적화되지 않은 하이퍼파rameter 조건에서 두드러진 효과를 보였다.
• 데이터 노이즈와 이방성에 대해 프레임워크는 강건하며, RANSAC 기반 보정은 노이즈가 많은 환경에서 미미하지만 안정적인 성능 향상을 보였다.
• 오픈소스 구현을 통해 위상적 일반화 분석의 실용적 적용과 확장이 가능해졌다.