[논문 리뷰] Deep Online Convex Optimization with Gated Games

David Balduzzi|arXiv (Cornell University)|2016. 04. 07.

Stochastic Gradient Optimization Techniques참고 문헌 90인용 수 7

한 줄 요약

이 논문은 정수기형 최적화를 레이티파이어 컨벌루션 네트워크와 같은 비연속, 비볼록 딥 러닝 아키텍처로 확장하는 게이팅 게임이라는 게임이론적 프레임워크를 소개한다. 레이티파이어와 맥스 풀링을 이진 게이팅 메커니즘으로 모델링하여 이러한 네트워크에서 경사 하강법의 수렴 속도를 처음으로 규명하며, 비판점으로 수렴하는 것은 네트워크 유닛의 게이팅-레게트에 의해 제어됨을 보여준다.

ABSTRACT

Methods from convex optimization are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since modern convolutional networks (convnets), incorporating rectifier units and max-pooling, are neither smooth nor convex. Standard guarantees therefore do not apply. This paper provides the first convergence rates for gradient descent on rectifier convnets. The proof utilizes the particular structure of rectifier networks which consists in binary active/inactive gates applied on top of an underlying linear network. The approach generalizes to max-pooling, dropout and maxout. In other words, to precisely the neural networks that perform best empirically. The key step is to introduce gated games, an extension of convex games with similar convergence properties that capture the gating function of rectifiers. The main result is that rectifier convnets converge to a critical point at a rate controlled by the gated-regret of the units in the network. Corollaries of the main result include: (i) a game-theoretic description of the representations learned by a neural network; (ii) a logarithmic-regret algorithm for training neural nets; and (iii) a formal setting for analyzing conditional computation in neural nets that can be applied to recently developed models of attention.

연구 동기 및 목표

• 레이티파이어 및 맥스 풀링과 같은 비연속, 비볼록 구성요소를 사용하는 현대 딥 러닝 모델에 대한 이론적 수렴 보장의 부족을 해결하기 위해.
• 게이팅 함수(예: ReLU, 맥스 풀링)가 딥 네트워크에서 의사결정 메커니즘으로서 수행하는 역할을 게임이론적 프레임워크에서 형식화하기 위해.
• 게이팅 게임으로 볼록 게임을 일반화하여 레이티파이어 컨벌루션 네트워크에서 경사 하강법의 수렴 속도를 확립하기 위해.
• 주의 메커니즘과 드롭아웃과 같은 조건부 계산의 분석을 위한 이론적 기반을 제공하기 위해.
• 맥스아웃, 드롭아웃 등 다양한 비연속 연산의 분석을 동일한 게임이론적 구조 아래 통합하기 위해.

제안 방법

• 플레이어가 맥락 기반 게이팅에 따라 활성화되거나 비활성화되는 게이팅 게임을 볼록 게임의 확장으로 도입한다.
• 각 경로가 활성 유닛의 순서에 해당하는 경로합 게임으로 딥 컨볼루션 네트워크를 모델링한다.
• 오차 역전파를 경로를 기반으로 하는 게임이론적 과정으로 재구성하여 온라인 볼록 최적화 도구의 사용을 가능하게 한다.
• 게이팅-레게트를 단위의 실제 손실과 최적으로 게이팅되었을 경우의 손실 간의 차이로 정의한다.
• 레게트 최소화 기법을 게이팅 메커니즘에 적용하여 비연속 설정에서도 수렴 보장을 가능하게 한다.
• 맥스 풀링, 드롭아웃, 맥스아웃을 맥락 기반 활성화 메커니즘으로 모델링하여 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 레이티파이어 유닛을 사용하는 네트워크와 같이 매끄럽지 않고 볼록하지 않은 딥 네트워크에서 경사 하강법에 대한 수렴 보장을 확립할 수 있는가?
• RQ2 현대 컨벌루션 네트워크의 비연속, 비볼록 성격을 게임이론적 개념을 사용하여 어떻게 공식화할 수 있는가?
• RQ3 게이팅 메커니즘(예: ReLU, 맥스 풀링)이 딥 네트워크의 최적화 역학에 미치는 역할은 무엇인가?
• RQ4 주의 메커니즘과 같은 조건부 계산이 레게트 기반 프레임워크를 사용하여 공식적으로 분석하고 최적화할 수 있는가?
• RQ5 신경망이 학습한 표현이 제안된 게이팅 게임 프레임워크에서 상관 균형과 어떻게 관련이 있는가?

주요 결과

• 논문은 레이티파이어 컨벌루션 네트워크에서 경사 하강법의 수렴 속도를 처음으로 규명하며, 수렴이 비판점에 도달하는 것은 네트워크 유닛의 게이팅-레게트에 의해 결정됨을 보여준다.
• 프레임워크는 맥스 풀링, 드롭아웃, 맥스아웃으로 일반화되어 있으며, 이러한 널리 사용되는 구성요소가 동일한 게임이론적 구조 아래에서 분석될 수 있음을 입증한다.
• 학습된 표현에 대한 게임이론적 기술이 유도되어 네트워크 내부 역학이 게이팅 게임의 상관 균형과 연결됨을 보여준다.
• 신경망 훈련을 위한 로그-레게트 알고리즘을 따름으로써 도출되며, 이는 이론적 성능 한계를 갖는 효율적 최적화를 가능하게 한다.
• 게이팅 정책을 레게트 최소화를 갖는 맥락 기반 밴딧으로 모델링함으로써, 주의 메커니즘과 같은 조건부 계산의 분석을 위한 공식적인 설정을 제공한다.
• 분석은 레이티파이어 네트워크의 표현력이 비가역성 구조 덕분에 매개변수 공간 내 지수적으로 많은 조각별 선형 영역을 생성하기 때문에 비롯됨을 드러낸다.