[論文レビュー] Deep Online Convex Optimization with Gated Games

David Balduzzi|arXiv (Cornell University)|Apr 7, 2016

Stochastic Gradient Optimization Techniques参考文献 90被引用数 7

ひとこと要約

本稿では、整流畳み込みニューラルネットワークのような滑らかでない、凸でない深層学習アーキテクチャへ凸最適化を拡張するゲーム理論的枠組み「ゲート付きゲーム」を導入する。整流関数とマックスプーリングを二値ゲーティング機構としてモデル化することで、勾配降下法の収束速度が初めて確立され、収束先の臨界点はネットワークユニットのゲート付きリグレットによって制御されることが示された。

ABSTRACT

Methods from convex optimization are widely used as building blocks for deep learning algorithms. However, the reasons for their empirical success are unclear, since modern convolutional networks (convnets), incorporating rectifier units and max-pooling, are neither smooth nor convex. Standard guarantees therefore do not apply. This paper provides the first convergence rates for gradient descent on rectifier convnets. The proof utilizes the particular structure of rectifier networks which consists in binary active/inactive gates applied on top of an underlying linear network. The approach generalizes to max-pooling, dropout and maxout. In other words, to precisely the neural networks that perform best empirically. The key step is to introduce gated games, an extension of convex games with similar convergence properties that capture the gating function of rectifiers. The main result is that rectifier convnets converge to a critical point at a rate controlled by the gated-regret of the units in the network. Corollaries of the main result include: (i) a game-theoretic description of the representations learned by a neural network; (ii) a logarithmic-regret algorithm for training neural nets; and (iii) a formal setting for analyzing conditional computation in neural nets that can be applied to recently developed models of attention.

研究の動機と目的

• 滑らかでなく、凸でもない成分（例：ReLU、マックスプーリング）を用いる現代の深層学習モデルに対して理論的収束保証が欠如している問題に対処すること。
• ゲーティング関数（例：ReLU、マックスプーリング）が深層ネットワークにおける意思決定メカニズムとして果たす役割を、ゲーム理論的枠組みとして形式化すること。
• ゲート付きゲームに凸ゲームを一般化することで、整流畳み込みニューラルネットワークにおける勾配降下法の収束速度を確立すること。
• 注目メカニズムやドロップアウトにおける条件付き計算の分析のための理論的基盤を提供すること。
• マックスアウト、ドロップアウトなどのさまざまな滑らかでない演算を、共通のゲーム理論的構造の下で統一的に分析すること。

提案手法

• 文脈依存的なゲートに基づいてプレイヤーが活性化・非活性化される、凸ゲームの拡張としてゲート付きゲームを導入する。
• 各パスが活性化されたユニットの系列に対応するパス和ゲームとして、深層畳み込みネットワークをモデル化する。
• 誤差逆伝搬法をパス上でのゲーム理論的プロセスに再定式化することで、オンライン凸最適化のツールが利用可能になる。
• ユニットのゲート付きリグレットを、実際の損失と、それが最適にゲートされていた場合の損失との差として定義する。
• ゲーティング機構にリグレット最小化手法を適用することで、滑らかでない設定でも収束保証が可能になる。
• マックスプーリング、ドロップアウト、マックスアウトを含めるために、これらを条件付き活性化メカニズムとしてモデル化することで、フレームワークを一般化する。

実験結果

リサーチクエスチョン

• RQ1 ReLUユニットを用いるような滑らかでなく凸でもない深層ネットワークにおける勾配降下法の収束保証は確立可能か？
• RQ2 現代の畳み込みニューラルネットワークの滑らかでない、凸でない性質を、ゲーム理論的概念を用いて形式的に捉えることは可能か？
• RQ3 ゲーティングメカニズム（例：ReLU、マックスプーリング）は、深層ネットワークの最適化ダイナミクスにどのように寄与しているか？
• RQ4 注目メカニズムなどのニューラルネットワーク内の条件付き計算を、リグレットベースのフレームワークを用いて形式的に分析・最適化することは可能か？
• RQ5 ニューラルネットワークが学習する表現は、提案されたゲート付きゲーム枠組みにおける相関均衡とどのように対応するか？

主な発見

• 本稿では、整流畳み込みニューラルネットワークにおける勾配降下法の収束速度が初めて確立され、臨界点への収束はネットワークユニットのゲート付きリグレットによって支配されることを示した。
• フレームワークはマックスプーリング、ドロップアウト、マックスアウトへ一般化され、これら広く用いられる構成要素が同一のゲーム理論的構造の下で分析可能であることが示された。
• 学習された表現のゲーム理論的記述が導出され、ネットワークの内部ダイナミクスがゲート付きゲームにおける相関均衡に対応することが明らかになった。
• 対数的リグレットを持つアルゴリズムが、ニューラルネットワークの訓練に応用可能であることが補足として導かれた。理論的性能バインディングを伴う効率的最適化が可能になった。
• フレームワークにより、注目メカニズムなどの条件付き計算の分析が形式的に行えるようになり、ゲーティング方策をリグレット最小化を伴う文脈的バンディットとしてモデル化した。
• 分析により、整流関数ネットワークの表現力は、微分不能な構造に起因し、パrameter空間に指数的多数の線形領域を生成することによって生じることが明らかになった。