[논문 리뷰] Fisher-Rao Metric, Geometry, and Complexity of Neural Networks

Tengyuan Liang, Tomaso Poggio외 2명|arXiv (Cornell University)|2017. 11. 05.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 90

한 줄 요약

Fisher-Rao 노름을 깊은 네트워크의 불변성 인지 용량 척도로 도입하고, 이것이 기존 노름들을 포괄한다는 점을 보여주며 일반화 및 자연 그래디언트와의 연관성을 제시한다; CIFAR-10 실험으로 이론을 뒷받침한다.

ABSTRACT

We study the relationship between geometry and capacity measures for deep neural networks from an invariance viewpoint. We introduce a new notion of capacity --- the Fisher-Rao norm --- that possesses desirable invariance properties and is motivated by Information Geometry. We discover an analytical characterization of the new capacity measure, through which we establish norm-comparison inequalities and further show that the new measure serves as an umbrella for several existing norm-based complexity measures. We discuss upper bounds on the generalization error induced by the proposed measure. Extensive numerical experiments on CIFAR-10 support our theoretical findings. Our theoretical analysis rests on a key structural lemma about partial derivatives of multi-layer rectifier networks.

연구 동기 및 목표

• 신경망 복잡성의 기하학적이고 불변성 기반 개념을 동기 부여한다.
• Fisher-Rao 노름을 용량 척도로 정의하고 분석한다.
• Fisher-Rao 노름이 기존의 노름 기반 용량 척도와의 관계를 어떻게 제시하거나 바람직하게 하는지 보여준다.
• Fisher-Rao 기하학, 일반화, 최적화(자연 그래디언트) 사이의 연결을 확립한다.
• 표준 데이터셋에 대한 이론적 주장을 뒷받침하는 실증적 증거를 제공한다.]
• method
• method
• - Fisher 정보 연산자 I(θ)와 손실의 기울기를 통해 Fisher-Rao 노름을 정의한다.
• - 다층 ReLU 네트워크에 대한 구조적 기울기 항등식(Lemma 2.1)과 여유점(margins) 및 정지점에 대한 유도 도판을 증명한다.
• - Fisher-Rao 노름의 해석적 수식(Theorem 3.1)을 도출하고 기능적으로 동등한 매개변수화에 대해 불변성(Corollary 3.1)을 보인다.
• - Fisher-Rao 노름이 스펙트럴, 그룹, 경로 및 유도 노름의 우산이 됨을 보이는 노름 비교 결과(Theorem 3.2, Section 4)를 개발한다.
• - 깊은 선형 네트워크의 일반화 오차를 상한하고 노름 기반 분해를 통해 렉트ified 네트워크로 확장한다(Theorem 4.1 and Proposition 4.1).
• - 과대매개화(over-parameterization)와 무작위 라벨에서 Fisher-Rao 노름의 거동을 설명하는 광범위한 CIFAR-10 실험을 제시한다.

제안 방법

• Fisher 정보 연산자 I(θ)와 손실의 기울기의 곱셈을 통해 Fisher-Rao 노름을 정의한다.
• 다층 ReLU 네트워크에 대한 구조적 기울기 항등식(Lemma 2.1)을 증명하고 여유(margin) 및 정지점에 대한 도출된 결론을 제시한다.
• Fisher-Rao 노름의 해석적 공식을 도출(Theorem 3.1)하고 기능적으로 등가한 매개변수화에 대한 불변성(Corollary 3.1)을 보인다.
• Fisher-Rao 노름이 스펙트럴, 그룹, 경로, 유도 노름의 우산으로 작동함을 보이는 노름 비교 결과(Theorem 3.2, Section 4)를 개발한다.
• 깊은 선형 네트워크에 대한 일반화 오차를 경계하고 노름 기반 분해를 통해 렉트ified 네트워크로 확장한다(Theorem 4.1, Proposition 4.1).
• Fisher-Rao 노름의 거동을 설명하기 위한 광범위한 CIFAR-10 실험을 제시하여 과대매개화 및 무작위 라벨 하에서의 특성을 보여준다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 일반화를 효과적으로 포착하는 불변 기하학적 용량 척도는 무엇인가?
• RQ2 Fisher-Rao 노름은 기존의 노름 기반 용량 개념들과 어떻게 관련되고 통합되는가?
• RQ3 Fisher-Rao 프레임워크가 깊은 네트워크와 선형 네트워크의 일반화 오차를 설명하거나 상한을 제시할 수 있는가?
• RQ4 딥 네트워크 학습에서 Fisher-Rao 기하학(자연 그래디언트)을 사용하는 계산적 및 최적화적 영향은 무엇인가?
• RQ5 CIFAR-10에 대한 실증 결과가 불변성과 일반화에 대한 이론적 주장들을 지지하는가?

주요 결과

• Fisher-Rao 노름은 여러 노름 기반 복잡성을 통합하는 불변 용량 척도를 제공한다.
• 정확한 항등식(Theorem 3.1)은 Fisher-Rao 노름을 손실에 대한 모델 도함수 정렬과의 관련성으로 표현하여 기하학과 일반화의 연결을 제시한다.
• 노름 비교 결과는 Fisher-Rao 노름이 일반적인 노름(스펙트럴, 그룹, 경로, 유도 노름)을 상수 범위 안에서 하한하는 우산 기하로 작용함을 보여준다.
• 깊은 선형 네트워크에 대해 Fisher-Rao 기반 용량이 차원- 및 여유(margin) 관련 일반화 보장을 제공한다(Theorem 4.1).
• 실험에서 Fisher-Rao 노름은 폭이 증가해도 안정성을 유지하고 CIFAR-10에서 다른 노름들보다 일반화 간극을 더 잘 추적한다.
• 자연 그래디언트는 Fisher-Rao 기하학과 일치하여 매개 재설정 및 과대매개화 하에서도 근사적 불변성을 제공한다.