[논문 리뷰] Efficiently testing local optimality and escaping saddles for ReLU networks

Chulhee Yun, Suvrit Sra외 1명|arXiv (Cornell University)|2018. 09. 28.

Energy Efficient Wireless Sensor Networks참고 문헌 37인용 수 5

한 줄 요약

이 논문은 다층 ReLU 네트워크에서 국소 최적성과 안정점 탈출을 이론적으로 효율적으로 테스트하기 위한 알고리즘을 제안한다. 다각형 기하학을 활용하여 각 은닉 노드당 하나의 볼록 QP로 계산을 줄이고, O(M)개의 부등식 테스트 및 하나 또는 몇 개의 비볼록 QP로 구현한다. 이 방법은 국소 최소값, 2차 정류점 또는 내림 경로를 효율적으로 식별하며, 유리한 경우 지수 수준의 수렴 속도를 보이고, 어려운 경우에도 처리 가능한 복잡도를 유지한다.

ABSTRACT

We provide a theoretical algorithm for checking local optimality and escaping saddles at nondifferentiable points of empirical risks of two-layer ReLU networks. Our algorithm receives any parameter value and returns: local minimum, second-order stationary point, or a strict descent direction. The presence of $M$ data points on the nondifferentiability of the ReLU divides the parameter space into at most $2^M$ regions, which makes analysis difficult. By exploiting polyhedral geometry, we reduce the total computation down to one convex quadratic program (QP) for each hidden node, $O(M)$ (in)equality tests, and one (or a few) nonconvex QP. For the last QP, we show that our specific problem can be solved efficiently, in spite of nonconvexity. In the benign case, we solve one equality constrained QP, and we prove that projected gradient descent solves it exponentially fast. In the bad case, we have to solve a few more inequality constrained QPs, but we prove that the time complexity is exponential only in the number of inequality constraints. Our experiments show that either benign case or bad case with very few inequality constraints occurs, implying that our algorithm is efficient in most cases.

연구 동기 및 목표

• ReLU 네트워크의 손실 표면에서 미분 불가능한 점을 분석하는 데 도전하는 것. 이는 국소 최적성에 핵심적이지만 비선형성과 조각별 미분 가능성으로 인해 다루기 어려운 점이다.
• 주어진 점이 국소 최소값, 2차 정류점(SOSP), 또는 엄격한 내림 방향을 가지는지 판단할 수 있는 이론적 알고리즘을 개발하는 것.
• 훈련 과정에서의 종료 기준 향상을 위해 ReLU 네트워크의 임의의 매개변수에 대해 최적성 또는 내림 방향의 증거를 제공하는 것.
• 비볼록, 비연속적인 ReLU 네트워크에서 최적성 검사를 위한 계산 부담을 기하학적 구조와 볼록 이완 기법을 활용해 줄이는 것.

제안 방법

• 알고리즘은 M개의 데이터 포인트에 기반해 매개변수 공간을 최대 2^M개의 영역으로 분할하며, 이는 ReLU 유닛에서 w^T x + b = 0이 성립할 때 비가속성이 발생한다는 사실을 활용한다.
• 각 은닉 노드에 대해 국소 곡률과 하위미분 행동을 포괄하는 하나의 볼록 2차 프rogramming(QP)을 푼다.
• 활성 제약 조건과 데이터 포인트 간 하위미분 일致성 여부를 판단하기 위해 O(M)개의 부등식 및 등식 테스트를 수행한다.
• 최종 비볼록 QP에 대해, 등식 제약 조건이 있는 유리한 경우에 투사된 경사하강법을 통해 지수 수준의 빠른 해법이 가능하다고 증명한다.
• 부등식 제약 조건이 있는 더 복잡한 경우, 시간 복잡도는 총 데이터 크기와는 무관하게 부등식 제약 조건의 수에만 지수적으로 의존한다.
• 비연속점에서 하위미분과 헤시안 유사 정보를 다각형 기하학으로 모델링하여 2차 분석이 가능하게 한다.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 네트워크 매개변수 공간에서 주어진 점이 국소 최소값, SOSP 또는 내림 방향을 가지는지 효율적으로 테스트할 수 있는가?
• RQ2 비연속적이고 비볼록적인 ReLU 네트워크에서 국소 최적성 검사를 위한 계산의 비현실성은 어떻게 극복할 수 있는가?
• RQ3 ReLU 네트워크의 비가속성 점에서 안정점을 탈출하는 데 필요한 계산 복잡도는 무엇인가?
• RQ4 비볼록성에도 불구하고 비가속 경계에서 내림 방향 계산을 보장할 수 있는 방법을 설계할 수 있는가?

주요 결과

• 알고리즘은 전역 최적성 테스트를 각 은닉 노드당 하나의 볼록 QP, O(M)개의 부등식/등식 테스트 및 하나 또는 몇 개의 비볼록 QP로 줄여 계산 가능하게 한다.
• 유리한 경우(등식 제약 조건이 있는 QP), 투사된 경사하강법이 최종 QP를 지수 수준으로 신속하게 해결함으로써 빠른 수렴을 보장한다.
• 불리한 경우(부등식 제약 조건이 있는 QP), 시간 복잡도는 데이터 포인트 수와는 무관하게 부등식 제약 조건의 수에만 지수적으로 의존한다.
• 실험적 증거는 실질적으로 유리한 경우 또는 매우 적은 부등식 제약 조건을 가진 불리한 경우가 대부분 발생함을 시사하며, 이는 대부분의 실제 시나리오에서 높은 효율성을 의미한다.
• 이 방법은 완전한 증거를 제공한다: 주어진 입력 점에 대해 국소 최소값, 2차 정류점 또는 엄격한 내림 방향을 반환한다.
• 이 접근법은 다각형 기하학을 활용해 하위미분과 곡률을 모델링함으로써 ReLU 네트워크의 근본적인 비연속성 문제를 성공적으로 다룬다.