[논문 리뷰] A Deep Neural Network's Loss Surface Contains Every Low-dimensional Pattern

Wojciech Marian Czarnecki, Simon Osindero외 2명|arXiv (Cornell University)|2019. 12. 16.

Neural Networks and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 손실 표면에서 임의의 목표 함수를 보편적으로 근사화하는 방식으로, 충분히 넓고 깊은 신경망의 손실 표면이 데이터셋이나 작업에 관계없이 모든 가능한 저차원 스무스 패턴을 포함한다는 것을 증명한다. 주요 결과는 이러한 패턴들이 단지 임bed할 수 있을 뿐 아니라 표준 학습을 통해 최적화 가능하고, 테스트 세트로 이식 가능하며, 전역 최소값 근처에 존재할 수 있다는 것이다.

ABSTRACT

The work "Loss Landscape Sightseeing with Multi-Point Optimization" (Skorokhodov and Burtsev, 2019) demonstrated that one can empirically find arbitrary 2D binary patterns inside loss surfaces of popular neural networks. In this paper we prove that: (i) this is a general property of deep universal approximators; and (ii) this property holds for arbitrary smooth patterns, for other dimensionalities, for every dataset, and any neural network that is sufficiently deep and wide. Our analysis predicts not only the existence of all such low-dimensional patterns, but also two other properties that were observed empirically: (i) that it is easy to find these patterns; and (ii) that they transfer to other data-sets (e.g. a test-set).

연구 동기 및 목표

• 스코로코호도프와 버츠에프(2019)가 실험적으로 관찰한 lin, 2019년에 관찰된 바와 같이, 임의의 2차원 이진 패턴이 깊은 신경망의 손실 표면에 존재할 수 있는 이유를 이론적으로 설명하는 것.
• 이러한 성질이 이진 또는 2차원 패턴에 국한되지 않고 모든 스무스하고 유계된 저차원 패턴으로 확장된다는 것을 확립하는 것.
• 이러한 패턴들이 표준 지도 학습과 유사한 최적화 복잡도로 찾을 수 있음을 보여주는 것.
• 이러한 패턴들이 학습 세트에서 테스트 세트로 전이 가능하며, 전역 최소값 근처에 임bed될 수 있음을 보여주는 것.
• 네트워크의 입력 처리 함수에 독립적으로 이러한 패턴을 구성할 수 있는지 조사하여, 모델이 기하학적 정규화를 '기만'할 수 있는지 여부를 밝혀내는 것.

제안 방법

• 고정된 입력 투영과 학습 가능한 바이어스 벡터를 갖는 신경망을 구성하여, 목표 패턴을 손실 표면에 인코딩하는 방식.
• 보편 근사 정리(Universal Approximation Theorem)를 활용해, 매개변수 공간의 $z$차원 부분에서 목표 함수 $\mathcal{T}: [0,1]^z \to [0,1]$를 근사하는 서브넷을 학습하는 방식.
• 손실를 두 부분으로 분해: 하나는 주 작업(입력-출력 매핑)을 위한 것이고, 다른 하나는 패턴 인코딩 서브넷을 위한 것으로, 각 패턴 차원마다 별도의 헤드를 사용.
• 손실 함수 $\ell$의 리프시츠 연속성(Lipschitz continuity)을 활용하여, 학습된 손실과 목표 패턴 $\mathcal{T}$ 사이의 근사 오차를 제한하는 방식.
• 패턴 인코딩 서브넷이 입력 처리 경로로부터 독립적으로 학습되도록 보장하여 일반화 성능를 유지하고 테스트 세트로의 전이를 가능하게 하는 방식.
• 활성화 함수의 스무스성과 전사성(surjectivity)을 이용해, 네트워크 폭이 증가함에 따라 오차 $\epsilon$이 수렴함을 증명함으로써 총 손실 $L(\mathbf{h})$가 $\mathcal{T}(\mathbf{h})$를 오차 $\epsilon$ 이내로 근사함을 보장.

실험 결과

연구 질문

• RQ1 모든 스무스하고 유계된 저차원 패턴이 충분히 넓고 깊은 신경망의 손실 표면에 임bed될 수 있는가?
• RQ2 이러한 패턴의 임bed 가능성은 학습 데이터에서 테스트 데이터로 일반화되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ3 표준 지도 학습만큼 어려운 최적화를 통해 이러한 패턴을 찾을 수 있는가?
• RQ4 이러한 패턴들은 원래 학습 목표의 전역 최소값 근처에 임bed될 수 있는가?
• RQ5 네트워크의 손실 표면 기하학을 조작하여 입력 수준 성능에 영향을 주지 않고도 임의의 局소 기하학적 제약 조건을 충족시킬 수 있는가?

주요 결과

• 모든 충분히 넓고 깊은 신경망의 손실 표면은 모든 스무스하고 유계된 저차원 패턴 $\mathcal{T}: [0,1]^z \to [0,1]$를 포함한다.
• 보편 근사 정리와 손실 함수의 리프시츠 연속성 덕분에 네트워크 폭을 증가시킴으로써 학습된 손실과 목표 패턴 $\mathcal{T}$ 사이의 근사 오차를 임의로 작게 만들 수 있다.
• 패턴이 별개의 입력에 의존하지 않는 서브넷에 인코딩되어 있어, 학습에서 테스트 세트로의 전이가 보장된다.
• 표준 지도 학습과 유사한 복잡도로 이러한 패턴을 최적화할 수 있으며, 이는 구성된 목표 함수에 대해 표준 신경망을 학습하는 문제로 환원되기 때문이다.
• 원래 학습 목표의 전역 최소값에서 $\epsilon$ 이내로 패턴을 임bed할 수 있으며, 이로 인해 네트워크의 전체 성능가 유지된다.
• 패턴들은 축에 평행하게 만들 수 있고, 손실 함수와 레이블 분포 $P(\mathbf{y})$가 그대로 유지되는 한 입력 분포의 변화에 대해 강건하다.