[論文レビュー] Distributed optimization of deeply nested systems

Miguel Á. Carreira-Perpiñán, Weiran Wang|arXiv (Cornell University)|Dec 24, 2012

Sparse and Compressive Sensing Techniques参考文献 28被引用数 104

ひとこと要約

この論文は、深層ニューラルネットワークのような深くネストされたシステムに適した、最適化フレームワーク「補助座標法（MAC）」を提案する。非凸でネストされた最適化問題を、補助変数を用いて拡張空間における制約付き問題に再定式化することにより、勾配消失を回避し、既存の1層用最適化アルゴリズムを再利用可能にし、並列性が極めて高い、証明可能に収束する最適化を可能にする。この手法は、シリアスな設定でも最先端の手法と同等の性能を達成する。

ABSTRACT

In science and engineering, intelligent processing of complex signals such as images, sound or language is often performed by a parameterized hierarchy of nonlinear processing layers, sometimes biologically inspired. Hierarchical systems (or, more generally, nested systems) offer a way to generate complex mappings using simple stages. Each layer performs a different operation and achieves an ever more sophisticated representation of the input, as, for example, in an deep artificial neural network, an object recognition cascade in computer vision or a speech front-end processing. Joint estimation of the parameters of all the layers and selection of an optimal architecture is widely considered to be a difficult numerical nonconvex optimization problem, difficult to parallelize for execution in a distributed computation environment, and requiring significant human expert effort, which leads to suboptimal systems in practice. We describe a general mathematical strategy to learn the parameters and, to some extent, the architecture of nested systems, called the method of auxiliary coordinates (MAC). This replaces the original problem involving a deeply nested function with a constrained problem involving a different function in an augmented space without nesting. The constrained problem may be solved with penalty-based methods using alternating optimization over the parameters and the auxiliary coordinates. MAC has provable convergence, is easy to implement reusing existing algorithms for single layers, can be parallelized trivially and massively, applies even when parameter derivatives are not available or not desirable, and is competitive with state-of-the-art nonlinear optimizers even in the serial computation setting, often providing reasonable models within a few iterations.

研究の動機と目的

• 深層ニューラルネットワークのような非凸で深くネストされたシステムにおける連合最適化の課題に対処すること。
• バックプロパゲーションの限界、すなわち勾配消失、並列処理の困難さ、微分可能パラメータへの依存を克服すること。
• 既存の1層用最適化アルゴリズムを再利用可能で、分散計算をサポートする汎用的最適化戦略を開発すること。
• 階層的システムにおいて、証明可能に収束する自動アーキテクチャ選択とパラメータ学習を可能にすること。

提案手法

• 隠れユニットの活性化を表すために補助座標（Z）を導入し、深くネストされた関数を拡張空間における制約付き最適化問題に変換する。
• 各データポイントと各層に対して、制約条件 Znkh = fkh(zn,k−1; Wk) を満たすように、元のネストされた目的関数 E1(W) を制約付き問題 E(W, Z) に置き換える。
• 2次ペナルティ法を用いて制約付き問題を解き、拡張ラグランジュ関数 EQ(W, Z; µ) = E(W, Z) + (µ/2)∑‖Z − F(W, X)‖² を最小化する。
• パrameter W と補助座標 Z の間を交互に最適化することで、データポイントおよび層ごとに並列処理が容易になり、並列性が著しく向上する。
• 制約付き問題のKKT点への収束を証明し、やや厳しい正則性条件のもとで、元のネストされた問題の停留点に対応することを示す。
• 勾配に基づかない最適化アルゴリズムの使用を可能にし、補助変数の再定式化に依存することで、微分不能な写像に対しても対応可能である。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションに内在する勾配消失問題を回避できる、深くネストされたシステム向けの汎用的最適化手法を開発できるか？
• RQ2 階層的システムにおいて、証明可能に収束し、スケーラブルな連合パrameterとアーキテクチャ学習をどのように達成できるか？
• RQ3 既存の1層用最適化アルゴリズムを、分散的かつ大規模並列環境で、エンドツーエンドのネストされたシステムの学習に再利用できるか？
• RQ4 補助座標の再定式化における停留点が、元のネストされた問題の意味のある解に対応するための条件は何か？

主な発見

• MACは、制約付き問題のKKT点への証明可能な収束を達成し、これは元のネストされた最適化問題の停留点に対応する。
• データポイントおよび層ごとに、並列処理が容易であり、クラウドアーキテクチャにおける効率的な分散計算が可能である。
• MACは高速に収束し、単純な局所最適化アルゴリズムを用いても、数回の反復で妥当なモデルが得られることがある。
• 微分不能な写像に対してもロバストであり、勾配に基づかない最適化アルゴリズムと併用可能である。
• 理論的分析により、元のネストされた問題の最小解、最大解、鞍点が、MACの制約付き問題のそれらと1対1で対応することが確認された。
• 実験的結果により、シリアス計算環境でも最先端の非線形最適化手法と同等の性能を示した。