[論文レビュー] Deep Online Convex Optimization by Putting Forecaster to Sleep

David Balduzzi|arXiv (Cornell University)|Sep 6, 2015

Advanced Bandit Algorithms Research参考文献 36被引用数 3

ひとこと要約

この論文は、『サーカディアンゲーム』—凸ゲームの一般化で、類似した収束特性を示すもの—を導入することで、畳み込みニューラルネットワークにおける誤差逆伝播法とオンライン凸最適化の間の厳密な接続を確立する。本論文では、誤差逆伝播法が、ネットワークユニットの『覚醒レジリエント』（waking-regret）が全体の収束を制御するサーカディアンゲームをプレイすることと同等であることを証明し、学習された表現のゲーム理論的解釈や、適応的訓練戦略の可能性を示す。

ABSTRACT

Methods from convex optimization such as accelerated gradient descent are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since neural networks are not convex and standard guarantees do not apply. This paper develops the first rigorous link between online convex optimization and error backpropagation on convolutional networks. The first step is to introduce circadian games, a mild generalization of convex games with similar convergence properties. The main result is that error backpropagation on a convolutional network is equivalent to playing out a circadian game. It follows immediately that the waking-regret of players in the game (the units in the neural network) controls the overall rate of convergence of the network. Finally, we explore some implications of the results: (i) we describe the representations learned by a neural network game-theoretically, (ii) propose a learning setting at the level of individual units that can be plugged into deep architectures, and (iii) propose a new approach to adaptive model selection by applying bandit algorithms to choose which players to wake on each round.

研究の動機と目的

• 深層ネットワークにおける誤差逆伝播法とオンライン凸最適化の間の形式的理論的接続を確立すること。
• 勾配加速法のような最適化手法が、ニューラルネットワークのような非凸設定においてなぜ実証的に成功するかを説明すること。
• 収束行動が類似するが非凸設定にも対応可能な凸ゲームの一般化としてサーカディアンゲームを導入すること。
• 畳み込みネットワークにおける誤差逆伝播法が、サーカディアンゲームをプレイすることと同等であることを示すこと。
• ネットワークユニットのゲーム理論的解釈と適応的プレーヤーの覚醒戦略を用いて、新たな訓練パラダイムを可能にすること。

提案手法

• 収束特性を保ちつつ凸ゲームの一般化としてのサーカディアンゲームを導入すること。
• 畳み込みネットワーク内の各ニューロンまたはレイヤーを、サーカディアンゲームにおけるプレーヤーとしてモデル化すること。
• 誤差逆伝播法を、『覚醒』（更新）に対応するユニットのレジリエントを最小化するプロセスとして形式化すること。
• ゲーム内でのレジリエント最小化を用いて、ネットワーク全体の収束速度を制御すること。
• 各訓練ラウンドでどのネットワークユニット（プレーヤー）を更新（覚醒）するかを動的に選択するためにバンドイットアルゴリズムを適用すること。
• 学習済み表現と訓練ダイナミクスのゲーム理論的解釈を導出すること。

実験結果

リサーチクエスチョン

• RQ1 畳み込みネットワークにおける誤差逆伝播法は、どのようにしてオンライン凸最適化と形式的に結びつけられるか？
• RQ2 非凸設定にも対応可能な状況で収束特性を保つ凸ゲームの一般化は何か？
• RQ3 個々のネットワークユニットの覚醒レジリエントは、モデル全体の収束にどのように関係するか？
• RQ4 ユニットレベルでの学習ダイナミクスは、ゲーム理論的視点から再解釈可能か？
• RQ5 ネットワークユニットをバンドイット風ゲームのプレーヤーとして扱うことで、適応的モデル選択が達成可能か？

主な発見

• 畳み込みネットワークにおける誤差逆伝播法は、数学的にサーカディアンゲームをプレイすることと同等であり、深層学習とオンライン最適化の間の形式的ブリッジを確立する。
• 個々のネットワークユニットの覚醒レジリエントが、モデル全体の収束速度を直接制御する。これにより、新たな解釈可能性メカニズムが得られる。
• ネットワーク内の学習済み表現は、サーカディアンゲームにおける均衡として解釈可能であり、特徴学習のゲーム理論的理解を提供する。
• バンドイットアルゴリズムを用いて、個々のネットワークユニットを動的に選択的に更新する、新しい訓練戦略が提案される。これにより、適応的モデル選択が可能になる。
• このフレームワークにより、グローバル最適化目的と整合するユニットレベルのプラグイン型学習ルールを導入できる。