[논문 리뷰] The Multilinear Structure of ReLU Networks

Thomas Laurent, James von Brecht|arXiv (Cornell University)|2017. 12. 29.

Neural Networks and Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 ReLU 네트워크에서 힌지 손실을 사용할 경우 매개변수 공간에 다중선형 구조가 존재함을 밝혀내며, 이는 공간을 부드러운 셀과 미분 불가능한 경계로 분할한다. 이는 모든 평탄하지 않은 국소 최솟값이 비최적(영이 아닌 손실)임을 증명하며, 영손실 해가 존재할 경우 평탄한 최솟값은 전역적으로 최적임을 시사한다. 이는 ReLU 네트워크의 학습 동역학을 이해하기 위해 비미분 분석이 필수적임을 강조한다.

ABSTRACT

We study the loss surface of neural networks equipped with a hinge loss criterion and ReLU or leaky ReLU nonlinearities. Any such network defines a piecewise multilinear form in parameter space. By appealing to harmonic analysis we show that all local minima of such network are non-differentiable, except for those minima that occur in a region of parameter space where the loss surface is perfectly flat. Non-differentiable minima are therefore not technicalities or pathologies; they are heart of the problem when investigating the loss of ReLU networks. As a consequence, we must employ techniques from nonsmooth analysis to study these loss surfaces. We show how to apply these techniques in some illustrative cases.

연구 동기 및 목표

• ReLU 네트워크에서 힌지 손실을 사용할 경우 손실 표면의 기하학적 및 분석적 구조를 이해하기 위해.
• 비볼록적이며 비미분 가능한 최적화 표면에도 불구하고 딥 ReLU 네트워크 학습이 성공하는 이유를 해결하기 위해.
• 다양분기성과 최적성 측면에서 국소 최솟값의 성질을 규명하기 위해.
• 비미분 최솟값이 병리적인 것이 아니라 ReLU 네트워크 최적화 행동의 중심에 있음을 입증하기 위해.
• 분離 가능 조건 하에서 평탄한 최솟값이 전역적으로 최적임을, 반면 날카로운 최솟값은 항상 비최적임을 보여주기 위해

제안 방법

• 매개변수 공간을 활성화 패턴이 일정한 열린 셀들로 유한한 분할으로 모델링하고, 이들의 경계(비미분 가능한 영역)로 나누기.
• 각 셀 내에서 제한된 손실이 다중선형 형식임을 보이며, 조화 분석과 강한 최대원리의 적용이 가능함을 시사.
• 비미분 분석을 적용하여 국소 최솟값, 특히 매개변수 공간의 비미분 경계에서의 최솟값을 연구.
• 강한 최대원리를 활용하여, 손실이 영역 내에서 일정하지 않은 한, 비자명한 최적값은 반드시 셀 경계에서 발생해야 함을 증명.
• 분리 가능 데이터 가정 하에서 다중클래스 힌지 손실과 이진 힌지 손실을 분석하여 최적성 조건 유도.
• 복제된 네트워크 구조를 활용하여, 부드러운 내부 영역에서의 국소 최솟값은 반드시 영손실 해와 대응됨을 보임

실험 결과

연구 질문

• RQ1 ReLU 네트워크에서 힌지 손실을 사용할 경우, 국소 최솟값이 미분 가능할 수 있으며, 만약 가능하다면 어떤 조건에서 가능한가?
• RQ2 ReLU 네트워크에서 국소 최솟값의 미분 가능성과 그 최적성 사이의 관계는 무엇인가?
• RQ3 손실 표면의 다중선형 구조를 활용하여 국소 최솟값의 품질을 특성화할 수 있는가?
• RQ4 날카로운(비미분 가능한) 국소 최솟값은 ReLU 네트워크에서 힌지 손실을 사용할 경우 항상 비최적인가?
• RQ5 평탄한 국소 최솟값이 전역적으로 최적일 수 있는 조건은 무엇인가?

주요 결과

• ReLU 네트워크에서 힌지 손실을 사용할 경우, 모든 평탄하지 않은 국소 최솟값은 비미분 가능하며 엄격히 양의 손실을 가진다.
• 손실이 일정한(평탄한) 영역에 존재하는 국소 최솟값은 영손실 해가 존재할 경우 전역적으로 최적이다.
• 평탄한 영역와 인접하지 않은 비미분 가능한 경계에 위치한 날카로운 국소 최솟값은 항상 비영 손실을 가지며, 따라서 비최적이다.
• 영손실 최소화자가 존재할 경우, 평탄한 최솟값은 전역적으로 최적이며, 날카로운 최솟값은 엄격히 비최적임을 입증하여 명확한 이원론을 확립한다.
• 손실 함수가 부드러운 셀 내부에서 국소 최솟값을 가질 수 있는 것은 그 영역 내에서 손실이 식별적으로 영이어야 하며, 이는 전역 최적성을 의미한다.