[논문 리뷰] Topological properties of the set of functions generated by neural networks of fixed size

Philipp Petersen, Mones Raslan외 1명|arXiv (Cornell University)|2018. 06. 21.

Machine Learning and ELM인용 수 7

한 줄 요약

이 논문은 고정된 아키텍처를 가진 신경망이 실행할 수 있는 함수의 위상적 구조를 조사하며, 이 집합이 일반적으로 볼록이 아니며, $L^p$나 $L^∞$ 노름에 대해 닫혀 있지 않으며(ReLU 및 PReLU를 제외하고), 역안정성이 없음을 밝혀낸다. 이러한 성질들은 딥러닝에서의 핵심 학습 과제, 즉 수렴 실패, 파arameter 폭주, 느린 최적화와 같은 문제들을 설명한다. 이는 작은 함수 차이가 있을 경우에도 발생할 수 있다.

ABSTRACT

We analyze the topological properties of the set of functions that can be implemented by neural networks of a fixed size. Surprisingly, this set has many undesirable properties. It is highly non-convex, except possibly for a few exotic activation functions. Moreover, the set is not closed with respect to $L^p$-norms, $0 < p < \\infty$, for all practically-used activation functions, and also not closed with respect to the $L^\\infty$-norm for all practically-used activation functions except for the ReLU and the parametric ReLU. Finally, the function that maps a family of weights to the function computed by the associated network is not inverse stable for every practically used activation function. In other words, if $f_1, f_2$ are two functions realized by neural networks and if $f_1, f_2$ are close in the sense that $\\|f_1 - f_2\\|_{L^\\infty} \\leq \\varepsilon$ for $\\varepsilon > 0$, it is, regardless of the size of $\\varepsilon$, usually not possible to find weights $w_1, w_2$ close together such that each $f_i$ is realized by a neural network with weights $w_i$. Overall, our findings identify potential causes for issues in the training procedure of deep learning such as no guaranteed convergence, explosion of parameters, and slow convergence.

연구 동기 및 목표

• 고정 크기의 신경망이 실행할 수 있는 함수 집합의 위상적 성질을 분석하며, 볼록성, 닫힘성, 안정성에 초점을 맞춘다.
• 딥러닝에서 실용적인 학습 곤란을 뒷받침할 수 있는 고정 크기의 네트워크 기반 함수 공간의 구조적 결함을 규명한다.
• 네트워크 가중치에서 함수로의 실현 맵이 역안정성(역안정성)을 가지는지 조사한다. 이는 최적화 수렴성에 있어 핵심적인 성질이다.
• 함수 공간이 $L^p$ 및 $L^\infty$ 노름에 대해 닫혀 있는지, 어떤 활성화 함수에 의존하는지 규명한다.
• 통계적 또는 근사이론적 프레임워크에 의존하지 않는 비점근적이고 기하학적인 설명을 제공하여 관측된 학습 불안정성의 근본 원인을 규명한다.

제안 방법

• 증가하는 리프시츠 상수를 가지지만 컴acts 도메인에서 일致 수렴하는 ReLU 기반 신경망의 수열을 구성한다.
• 네트워크 가중치를 $C(\Omega)$ 안의 함수로 매핑하는 실현 맵 $\mathrm{R}^\Omega_\varrho$를 사용하여 그 위상적 성질을 분석한다.
• 리프시츠 상수를 유한하게 유지하기 위해 스케일링 노름 $\|\cdot\|_{\mathrm{scaling}}$을 적용하여 네트워크 가중치와 함수의 부드러움을 연결한다.
• 함수 집합이 닫혀 있지 않으면 실현 맵이 몰입 맵(quotient map)이 되지 않음을 보여주기 위해 몰입 맵 이론을 적용한다.
• $L^\infty$-노름 하에서 함수 집합의 닫힘성 부족과 리프시츠 상수의 무한성에 기반하여 역안정성 부족을 증명한다.
• 가중치 노름의 유계성과 리프시츠 상수의 비유계성에 기반한 모순 추론을 사용하여 핵심 위상적 성질을 증명한다.

실험 결과

연구 질문

• RQ1 고정 크기의 신경망이 실행할 수 있는 함수 집합은 표준 활성화 함수에 대해 볼록한가?
• RQ2 함수 집합이 어떤 $L^p$-노름에 대해 닫혀 있으며, 이는 활성화 함수에 따라 어떻게 달라지는가?
• RQ3 네트워크 가중치에서 함수로의 실현 맵은 역안정한가? 즉, 작은 함수 차이가 작은 가중치 차이를 의미하는가?
• RQ4 고정 크기의 네트워크 함수 공간은 균일 수렴 하에서 닫혀 있을 수 있는가? 이는 최적화에 어떤 영향을 미치는가?
• RQ5 함수 공간의 어떤 위상적 성질이 수렴 실패나 파arameter 폭주와 같은 학습 불안정성의 원인인가?

주요 결과

• 표준 활성화 함수를 제외한 모든 경우에서 고정 크기의 신경망이 실행할 수 있는 함수 집합은 볼록이 아니다.
• 모든 실용적으로 사용되는 활성화 함수에 대해 $0 < p < \infty$ 인 $L^p$-노름 하에서 함수 집합은 닫혀 있지 않다.
• 모든 표준 활성화 함수에 대해 $L^\infty$-노름 하에서 함수 집합은 닫혀 있지 않으며, 유일하게 ReLU 및 파라미터화된 ReLU를 제외한다.
• 모든 실용적으로 사용되는 활성화 함수에 대해 실현 맵은 역안정성이 없으며, 이는 작은 함수 차이가 작은 가중치 차이를 의미하지는 않음을 뜻한다.
• 함수들이 컴팩트 도메인에서 균일 수렴하여 0으로 수렴하더라도 실현된 함수의 리프시츠 상수는 임의로 크게 증가할 수 있으며, 이는 가중치-함수 매핑의 불안정성을 시사한다.
• 이러한 위상적 결함—비볼록성, 비닫힘성, 역안정성 부족—은 딥러닝에서 흔히 발생하는 수렴 실패나 파arameter 폭주 등의 학습 문제를 기하학적으로 설명한다.