[논문 리뷰] Distributed optimization of deeply nested systems

Miguel Á. Carreira-Perpiñán, Weiran Wang|arXiv (Cornell University)|2012. 12. 24.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 104

한 줄 요약

이 논문은 딥 뉴럴 네트워크와 같은 깊이 있는 네스팅 구조를 위한 새로운 최적화 프레임워크인 보조좌표 방법(MAC)을 소개한다. 비볼록이고 네스팅된 최적화 문제를 보조 변수를 사용해 확장된 공간에서의 제약 문제로 재구성함으로써, MAC는 수렴 보장이 되는 대량 병렬화가 가능한 최적화를 가능하게 하며, 기울기 소실 문제를 피하고 기존의 단일 레이어 최적화 알고리즘을 재사용할 수 있다. 이로 인해 심지어 순차적 환경에서도 최신 기법들과 경쟁 가능한 성능을 달성한다.

ABSTRACT

In science and engineering, intelligent processing of complex signals such as images, sound or language is often performed by a parameterized hierarchy of nonlinear processing layers, sometimes biologically inspired. Hierarchical systems (or, more generally, nested systems) offer a way to generate complex mappings using simple stages. Each layer performs a different operation and achieves an ever more sophisticated representation of the input, as, for example, in an deep artificial neural network, an object recognition cascade in computer vision or a speech front-end processing. Joint estimation of the parameters of all the layers and selection of an optimal architecture is widely considered to be a difficult numerical nonconvex optimization problem, difficult to parallelize for execution in a distributed computation environment, and requiring significant human expert effort, which leads to suboptimal systems in practice. We describe a general mathematical strategy to learn the parameters and, to some extent, the architecture of nested systems, called the method of auxiliary coordinates (MAC). This replaces the original problem involving a deeply nested function with a constrained problem involving a different function in an augmented space without nesting. The constrained problem may be solved with penalty-based methods using alternating optimization over the parameters and the auxiliary coordinates. MAC has provable convergence, is easy to implement reusing existing algorithms for single layers, can be parallelized trivially and massively, applies even when parameter derivatives are not available or not desirable, and is competitive with state-of-the-art nonlinear optimizers even in the serial computation setting, often providing reasonable models within a few iterations.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 같은 깊이 있는 네스팅 구조, 비볼록 시스템에서의 공동 최적화 문제를 해결하기 위해.
• 기울기 기반 역전파의 한계, 즉 기울기 소실, 낮은 병렬화 성능, 미분 가능한 매개변수에 대한 의존성 문제를 극복하기 위해.
• 기존의 단일 레이어 최적화 알고리즘을 재사용할 수 있고 분산 계산을 지원하는 일반 목적 최적화 전략을 개발하기 위해.
• 계층적 시스템에서 자동 아키텍처 선택과 매개변수 학습을 가능하게 하며, 수렴 보장이 되는 조건을 확보하기 위해.

제안 방법

• 숨겨진 유닛 활성화를 나타내기 위해 보조 좌표(Z)를 도입하여 깊이 있는 네스팅 함수를 확장된 공간에서의 제약 최적화 문제로 변환한다.
• 각 데이터 포인트와 레이어에 대해 등식 제약 조건 Znkh = fkh(zn,k−1; Wk) 를 만족시키는 조건부 문제 E(W, Z)로 원래의 네스팅 목적 함수 E1(W) 를 대체한다.
• 이중 제약 문제를 다항식 페널티 방법을 사용해 해결하며, 증강 라그랑주 함수 EQ(W, Z; µ) = E(W, Z) + (µ/2)∑‖Z − F(W, X)‖² 를 최소화한다.
• 매개변수 W 와 보조 좌표 Z 사이를 번갈아 최적화함으로써 데이터 포인트와 레이어 간에 간단하고 대량의 병렬 처리가 가능해진다.
• 약한 정규 조건 하에서 제약 문제의 KKT 점으로 수렴함을 증명하며, 이는 원래의 네스팅 문제의 정적점에 해당한다.
• 보조 변수 재구성에 기반하여 기울기 기반 최적화가 아닌 알고리즘도 사용할 수 있고, 비미분 가능 매핑도 처리할 수 있다.

실험 결과

연구 질문

• RQ1 기울기 기반 역전파에서 발생하는 기울기 소실 문제를 피할 수 있는 일반 목적 최적화 방법을 깊이 있는 네스팅 시스템에 개발할 수 있는가?
• RQ2 계층적 시스템에서 수렴 보장과 확장성 확보 조건 하에 공동 매개변수 및 아키텍처 학습을 어떻게 달성할 수 있는가?
• RQ3 기존의 단일 레이어 최적화 알고리즘을 분산형, 대량 병렬 환경에서 네스팅 시스템의 엔드 투 엔드 학습에 재사용할 수 있는가?
• RQ4 보조 좌표 재구성의 정적점이 원래의 네스팅 문제의 의미 있는 해에 해당하기 위한 조건은 무엇인가?

주요 결과

• MAC는 제약 문제의 KKT 점으로 수렴 보장이 되며, 이는 원래의 네스팅 최적화 문제의 정적점에 해당한다.
• 데이터 포인트와 레이어 간에 간단한 병렬 처리가 가능하여 클라우드 아키텍처에서 효율적인 분산 계산이 가능하다.
• MAC는 매우 빠른 수렴 속도를 보이며, 간단한 국소 최적화 알고리즘을 사용하더라도 몇 번의 반복 내에 합리적인 모델을 도출할 수 있다.
• 비미분 가능 매핑에 대해 강건하며 기울기 기반 최적화 알고리즘 외의 방법과도 함께 사용할 수 있다.
• 이론적 분석을 통해 원래의 네스팅 문제의 최소화자, 최대화자, 안장점이 MAC 제약 문제의 최소화자, 최대화자, 안장점과 일대일 대응됨을 확인했다.
• 실험 결과는 심지어 순차 계산 환경에서도 최신 비선형 최적화 기법들과 경쟁 가능한 성능을 보였다.