[論文レビュー] A Convergence Analysis of Nonlinearly Constrained ADMM in Deep Learning.

Jinshan Zeng, Shao-Bo Lin+1 more|arXiv (Cornell University)|Feb 6, 2019

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿は、滑らかな活性化関数を備えた深層ニューラルネットワークにおける非線形制約付きADMMのグローバル収束を確立し、Karush-Kuhn-Tucker (KKT) 点への収束速度が ${\cal O}(1/k)$ であることを示している。主な貢献は、ADMMに基づくDNN学習における非線形制約の課題を克服するための新しい局所線形近似技術の開発である。

ABSTRACT

Efficient training of deep neural networks (DNNs) is a challenge due to the associated highly nonconvex optimization. The alternating direction method of multipliers (ADMM) has attracted rising attention in deep learning for its potential of distributed computing. However, it remains an open problem to establish the convergence of ADMM in DNN training due to the nonlinear constraints involved. In this paper, we provide an answer to this problem by establishing the convergence of some nonlinearly constrained ADMM for DNNs with smooth activations. To be specific, we establish the global convergence to a Karush-Kuhn-Tucker (KKT) point at a ${\cal O}(1/k)$ rate. To achieve this goal, the key development lies in a new local linear approximation technique which enables us to overcome the hurdle of nonlinear constraints in ADMM for DNNs.

研究の動機と目的

• 非線形制約を伴う深層学習におけるADMMの収束問題という未解決問題に取り組む。
• 滑らかな活性化関数を備えた深層ニューラルネットワークの学習におけるADMMのグローバル収束保証を確立する。
• DNN最適化の非凸的かつ非線形制約付きの性質にかかわらず収束解析を可能にする理論的枠組みを構築する。
• ADMMフレームワークにおける非線形制約の技術的障壁を、新たな局所線形近似法の導入によって克服する。

提案手法

• 深層学習における非線形制約を扱うための新しい局所線形近似技術を提案する。
• 非線形制約のもとで滑らかな活性化関数を備えたDNNに、交替方向増分乗数法（ADMM）を適用する。
• ADMM反復の収束目標として、KKT最適性条件を用いる。
• 提案された近似スキームの下で反復列の収束を分析することにより収束を確立する。
• 反復列がKKT点への収束速度を ${\cal O}(1/k)$ として導出する。
• 理論的取り扱いやすさを保証するため、滑らかな活性化関数におけるアルゴリズムの振る舞いを分析する。

実験結果

リサーチクエスチョン

• RQ1 非線形制約付きADMMが深層ニューラルネットワーク学習においてグローバル収束を達成できるか？
• RQ2 滑らかな活性化関数と非線形制約を伴うDNNにおけるADMMが達成できる収束速度は何か？
• RQ3 ADMMフレームワークにおいて非線形制約の課題をどのように克服できるか？
• RQ4 非凸的かつ非線形制約付きの深層学習問題におけるADMMの使用に理論的根拠はあるか？
• RQ5 局所線形近似技術が、この文脈における収束解析を可能にするか？

主な発見

• 提案された非線形制約付きADMMは、グローバルにKarush-Kuhn-Tucker (KKT) 点に収束する。
• 収束速度が ${\cal O}(1/k)$ であることが確立されており、非凸ADMMにおける顕著な理論的保証である。
• 新たな局所線形近似技術は、従来収束解析を妨げていた非線形制約を効果的に処理した。
• この手法は滑らかな活性化関数を備えた深層ニューラルネットワークに適用可能である。
• 理論的結果は、分散型および制約付きの深層学習シナリオにおけるADMMの使用に基盤を提供する。
• 解析により、非線形制約下でのスケーラブルかつ分散型DNN学習におけるADMMの可能性が裏付けられた。