[논문 리뷰] A Provably Efficient Algorithm for Training Deep Networks

Roi Livni, Shai Shalev‐Shwartz외 1명|arXiv (Cornell University)|2013. 04. 26.

Machine Learning and Algorithms참고 문헌 23인용 수 18

한 줄 요약

이 논문은 각 노드가 입력의 이차 함수를 계산하는 딥 네ural 네트워크를 훈련하기 위한 증명 가능하게 효율적인 레이어별 알고리즘인 Basis Learner를 제안한다. 이 방법은 온건한 조건 하에서 오차 감소가 단조롭고, 최종적으로 오차가 0으로 수렴함을 보장하며, 다항 함수를 학습하는 데 있어 커널 방법과 같은 얕은 아키텍처를 능가한다.

ABSTRACT

We consider deep neural networks, in which the output of each node is a quadratic function of its inputs. Similar to other deep architectures, these networks can compactly represent any function on a finite training set. The main goal of this paper is the derivation of an efficient layer-by-layer algorithm for training such networks, which we denote as the \emph{Basis Learner}. The algorithm is a universal learner in the sense that the training error is guaranteed to decrease at every iteration, and can eventually reach zero under mild conditions. We present practical implementations of this algorithm, as well as preliminary experimental results. We also compare our deep architecture to other shallow architectures for learning polynomials, in particular kernel learning.

연구 동기 및 목표

• 이차 활성화를 갖는 딥 네트워크를 위한 보편적인 훈련 알고리즘을 개발하여 매 반복에서 오차 감소를 보장한다.
• 온건한 조건 하에서 훈련 오차가 0으로 수렴하도록 보장하여 안정성과 효율성을 확보한다.
• 다항 함수 학습에서 제안된 딥 아키텍처를 얕은 모델, 특히 커널 방법과 비교한다.
• 알고리즘의 효과성을 실용적 구현과 경험적 검증을 통해 제공한다.

제안 방법

• Basis Learner는 훈련 오차를 반복적으로 최소화하도록 네트워크 가중치를 업데이트하는 레이어별 최적화 전략을 사용한다.
• 각 레이어의 가중치는 이차 오차 함수를 최소화하는 데서 유도된 폐쇄형 해를 통해 업데이트된다.
• 알고리즘은 이차 활성화의 구조를 활용하여 매 단계에서 전역 수렴과 오차 감소를 보장한다.
• 기울기 기반 최적화의 단점을 피하기 위해 계산적으로 효율적인 방법으로 설계되어 있다.
• 유한한 훈련 집합에 대해 다항식의 밀집 표현을 활용하여 네트워크를 보편적인 함수 근사기로 간주한다.
• 훈련 과정은 매 반복에서 오차 감소가 보장되며, 온건한 가정 하에서 수렴이 보장된다.

실험 결과

연구 질문

• RQ1 이차 활성화를 갖는 딥 네트워크는 보장된 오차 감소를 통해 효율적으로 훈련될 수 있는가?
• RQ2 제안된 레이어별 알고리즘이 다항 함수 학습에서 커널 방법과 같은 얕은 모델을 능가하는가?
• RQ3 훈련 오차가 0으로 수렴하는 조건은 무엇인가?
• RQ4 실제로 기존 방법과 비교해 Basis Learner는 수렴 속도와 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• Basis Learner는 매 반복에서 훈련 오차가 감소함을 보장하여 안정적이고 예측 가능한 최적화를 보장한다.
• 온건한 조건 하에서 알고리즘이 0 훈련 오차를 달성할 수 있어, 유한한 훈련 집합에 대해 보편성을 입증한다.
• 이차 활성화를 갖는 딥 아키텍처는 얕은 커널 방법에 비해 다항 함수의 표현을 더 압축적으로 제공한다.
• 실용적 구현은 초도 실험에서 유망한 수렴 행동을 보였다.
• 기울기 기반 접근에서 흔히 요구되는 하이퍼파rameter 튜닝이 필요 없이도 분석적 업데이트 규칙 덕분에 효과적인 성능을 낸다.