[논문 리뷰] Deep Online Convex Optimization by Putting Forecaster to Sleep

David Balduzzi|arXiv (Cornell University)|2015. 09. 06.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 3

한 줄 요약

이 논문은 '순환 게임(circadian games)'—일반화된 볼록 게임으로서 유사한 수렴 성질을 가지는 것—을 도입함으로써, 합성곱 신경망에서 오차 역전파와 온라인 볼록 최적화 사이의 엄밀한 연결을 수립한다. 이는 역전파가 네트워크 유닛의 각각의 각성-손실(waking-regret)이 전체 수렴을 제어하는 순환 게임을 플레이하는 것과 동치임을 증명하며, 학습된 표현의 게임 이론적 해석과 적응형 훈련 전략을 가능하게 한다.

ABSTRACT

Methods from convex optimization such as accelerated gradient descent are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since neural networks are not convex and standard guarantees do not apply. This paper develops the first rigorous link between online convex optimization and error backpropagation on convolutional networks. The first step is to introduce circadian games, a mild generalization of convex games with similar convergence properties. The main result is that error backpropagation on a convolutional network is equivalent to playing out a circadian game. It follows immediately that the waking-regret of players in the game (the units in the neural network) controls the overall rate of convergence of the network. Finally, we explore some implications of the results: (i) we describe the representations learned by a neural network game-theoretically, (ii) propose a learning setting at the level of individual units that can be plugged into deep architectures, and (iii) propose a new approach to adaptive model selection by applying bandit algorithms to choose which players to wake on each round.

연구 동기 및 목표

• 딥 네트워크에서 오차 역전파와 온라인 볼록 최적화 사이의 공식 이론적 연결을 수립하기 위해.
• 신경망과 같은 비볼록 설정에서 가속화된 경사 하강법과 같은 최적화 방법의 경험적 성공을 설명하기 위해.
• 순환 게임을 볼록 게임의 일반화로 도입하여 유사한 수렴 행동을 유지하기 위해.
• 합성곱 신경망에서의 역전파가 순환 게임을 플레이하는 것과 동치임을 보여주기 위해.
• 게임 이론적 해석과 적응형 플레이어 각성 전략을 통해 새로운 훈련 패러다임을 가능하게 하기 위해.

제안 방법

• 볼록 게임의 일반화로서 핵심 수렴 성질을 유지하는 순환 게임을 도입하기 위해.
• 합성곱 네트워크의 각 뉴런 또는 레이어를 순환 게임의 플레이어로 모델링하기 위해.
• 역전파를 게임에서 각성-손실(waking-regret)을 최소화하는 과정으로 공식화하기 위해, 여기서 '각성'은 유닛을 업데이트하는 것을 의미한다.
• 게임에서의 손실 최소화를 통해 네트워크의 전체 수렴 속도를 제어하기 위해.
• 각 훈련 라운드에서 업데이트할 네트워크 유닛('플레이어')을 동적으로 선택하기 위해 밴딧 알고리즘을 적용하기 위해.
• 학습된 표현과 훈련 동역학의 게임 이론적 해석을 유도하기 위해.

실험 결과

연구 질문

• RQ1 합성곱 신경망에서 오차 역전파를 온라인 볼록 최적화와 공식적으로 어떻게 연결할 수 있는가?
• RQ2 비볼록 설정을 허용하면서도 수렴 성질을 유지하는 볼록 게임의 일반화는 무엇인가?
• RQ3 개별 네트워크 유닛의 각성-손실(waking-regret)이 모델의 전체 수렴과 어떻게 관련되는가?
• RQ4 유닛 수준의 학습 역학을 게임 이론적 시각에서 재해석할 수 있는가?
• RQ5 밴딧 스타일의 게임에서 네트워크 유닛을 플레이어로 간주함으로써 적응형 모델 선택이 가능해지는가?

주요 결과

• 합성곱 신경망에서의 오차 역전파는 수학적으로 순환 게임을 플레이하는 것과 동치이며, 딥 러닝과 온라인 최적화 사이의 공식적 다리를 구축한다.
• 개별 네트워크 유닛의 각성-손실(waking-regret)이 모델의 전체 수렴 속도를 직접적으로 제어하며, 새로운 해석 가능성 메커니즘을 제공한다.
• 네트워크에서 학습된 표현은 순환 게임의 균형 상태로 해석될 수 있으며, 기능 학습에 대한 게임 이론적 이해를 제공한다.
• 유닛 수준에서 밴딧 알고리즘에 기반해 선택적으로 업데이트되는 새로운 훈련 전략이 제안되며, 이는 적응형 모델 선택을 가능하게 한다.
• 이 프레임워크는 글로벌 최적화 목표와 일관된 단위 수준의 플러그인 학습 규칙을 허용한다.