[논문 리뷰] A Convergence Analysis of Nonlinearly Constrained ADMM in Deep Learning.

Jinshan Zeng, Shao-Bo Lin외 1명|arXiv (Cornell University)|2019. 02. 06.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 부드러운 활성화 함수를 가진 딥 네ural 네트워크에 대해 비선형 제약 조건이 있는 ADMM의 전역 수렴성을 확립하며, 카르쉬-쿠른-타커(Karush-Kuhn-Tucker, KKT) 점으로 향하는 ${\cal O}(1/k)$ 수렴 속도를 달성한다. 핵심 혁신은 ADMM 기반 DNN 학습에서 비선형 제약 조건의 과제를 극복하기 위한 새로운 局부 선형 근사 기법이다.

ABSTRACT

Efficient training of deep neural networks (DNNs) is a challenge due to the associated highly nonconvex optimization. The alternating direction method of multipliers (ADMM) has attracted rising attention in deep learning for its potential of distributed computing. However, it remains an open problem to establish the convergence of ADMM in DNN training due to the nonlinear constraints involved. In this paper, we provide an answer to this problem by establishing the convergence of some nonlinearly constrained ADMM for DNNs with smooth activations. To be specific, we establish the global convergence to a Karush-Kuhn-Tucker (KKT) point at a ${\cal O}(1/k)$ rate. To achieve this goal, the key development lies in a new local linear approximation technique which enables us to overcome the hurdle of nonlinear constraints in ADMM for DNNs.

연구 동기 및 목표

• 비선형 제약 조건이 있는 딥 러닝에서 ADMM의 수렴 문제를 해결하기 위해.
• 부드러운 활성화 함수를 가진 딥 네ural 네트워크 학습에서 ADMM의 전역 수렴 보장을 확립하기 위해.
• 비볼록성과 비선형 제약 조건의 특성으로 인해 DNN 최적화 분석이 어려운 상황에서도 수렴 분석이 가능하도록 이론적 프레임워크를 개발하기 위해.
• ADMM 프레임워크에서 비선형 제약 조건의 기술적 과제를 극복하기 위해 새로운 국소 선형 근사 방법을 도입하기 위해.

제안 방법

• 딥 러닝에서 비선형 제약 조건을 다루기 위한 새로운 국소 선형 근사 기법을 제안한다.
• 비선형 제약 조건 하에서 부드러운 활성화 함수를 가진 DNN에 대해 분할 역할 방법의 다중변수 최적화 기법(ADMM)을 적용한다.
• ADMM 반복의 수렴 목표로 KKT 최적성 조건을 사용한다.
• 제안된 근사 방법에 기반한 반복 수열의 분석을 통해 수렴성을 확립한다.
• 반복 수열이 KKT 점으로 향하는 수렴 속도를 ${\cal O}(1/k)$로 유도한다.
• 이론적 취급 가능성을 확보하기 위해 부드러운 활성화 함수 하에서 알고리즘의 행동을 분석한다.

실험 결과

연구 질문

• RQ1 비선형 제약 조건이 있는 딥 네ural 네트워크 학습에서 비선형 제약 조건이 있는 ADMM의 전역 수렴성을 확보할 수 있는가?
• RQ2 부드러운 활성화 함수와 비선형 제약 조건이 있는 DNN에서 ADMM의 수렴 속도는 얼마인가?
• RQ3 ADMM 프레임워크에서 비선형 제약 조건의 과제는 어떻게 극복할 수 있는가?
• RQ4 비볼록성과 비선형 제약 조건이 있는 딥 러닝 문제에서 ADMM 사용에 이론적 근거가 존재하는가?
• RQ5 국소 선형 근사 기법은 이 맥락에서 수렴 분석을 가능하게 하는가?

주요 결과

• 제안된 비선형 제약 조건이 있는 ADMM는 KKT 점으로 전역 수렴한다.
• 수렴 속도가 ${\cal O}(1/k)$로 확립되었으며, 이는 비볼록 ADMM에 대해 중요한 이론적 보장이다.
• 새로운 국소 선형 근사 기법은 이전에 수렴 분석을 방해했던 비선형 제약 조건을 성공적으로 처리한다.
• 이 방법은 부드러운 활성화 함수를 가진 딥 네ural 네트워크에 적용 가능하다.
• 이론적 결과는 ADMM를 분산 및 제약 조건이 있는 딥 러닝 시나리오에 활용할 수 있는 기반을 제공한다.
• 분석을 통해 비선형 제약 조건 하에서 확장 가능하고 분산된 DNN 학습에 ADMM의 잠재력이 확인된다.