[論文レビュー] Fenchel Lifted Networks: A Lagrange Relaxation of Neural Network Training

Fangda Gu, Armin Askari+1 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications被引用数 19

ひとこと要約

Fenchel lifted networks は、活性化関数を双凸制約として定式化し、ラグランジュ緩和を用いて標準的な学習目的関数の厳密な下界を導出する、新しいニューラルネットワーク学習フレームワークを導入する。この手法により、データポイントおよびレイヤー間で並列化可能な効率的なブロック座標降下最適化が可能となり、従来の全結合型および畳み込み型ネットワークと同等またはそれ以上の性能を達成する。

ABSTRACT

Despite the recent successes of deep neural networks, the corresponding training problem remains highly non-convex and difficult to optimize. Classes of models have been proposed that introduce greater structure to the objective function at the cost of lifting the dimension of the problem. However, these lifted methods sometimes perform poorly compared to traditional neural networks. In this paper, we introduce a new class of lifted models, Fenchel lifted networks, that enjoy the same benefits as previous lifted models, without suffering a degradation in performance over classical networks. Our model represents activation functions as equivalent biconvex constraints and uses Lagrange Multipliers to arrive at a rigorous lower bound of the traditional neural network training problem. This model is efficiently trained using block-coordinate descent and is parallelizable across data points and/or layers. We compare our model against standard fully connected and convolutional networks and show that we are able to match or beat their performance.

研究の動機と目的

• 深層ニューラルネットワークの学習における非凸性と最適化の難しさに対処すること。
• 凸緩和による構造的利点を導入しつつ、性能を維持するアップリフトされたニューラルネットワークアーキテクチャの開発。
• ラグランジュ乗数を用いて、標準的なニューラルネットワーク学習目的関数に対する厳密な下界を提供すること。
• アップリフト問題におけるブロック座標降下を用いて、データポイントおよびレイヤー間で並列化可能な効率的な学習を可能にすること。
• アップリフトモデルが、性能の劣化を伴わずに、古典的なネットワークと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 最適化の構造を明確にするために、各活性化関数を同等の双凸制約として表現すること。
• 元の非凸学習問題の下界を導出するためにラグランジュ緩和を適用すること。
• 緩和された双対問題を最適化するためにブロック座標降下を用い、データポイントおよびネットワークレイヤー間での並列化を可能にすること。
• 部分問題における凸性を保証するために、Fenchel共役に基づく双対問題として学習目的関数を定式化すること。
• アップリフトフレームワークを通じて、エンドツーエンドの微分可能性と従来のネットワークアーキテクチャとの互換性を維持すること。
• 双対問題を反復的に解くことで、元のネットワークの損失を抑え込む解に収束させること。

実験結果

リサーチクエスチョン

• RQ1 アップリフトされたニューラルネットワークフレームワークは、最適化構造の向上を図りつつ、従来のネットワークと同等またはそれ以上の性能を達成できるか？
• RQ2 ラグランジュ緩和と双凸制約の使用が、元の学習目的関数に対してよりタイトで取り扱いやすい下界を提供するか？
• RQ3 提案手法は、データおよびレイヤー間で並列化可能なブロック座標降下を用いて、効率的に最適化可能か？
• RQ4 Fenchel lifted networks の性能は、ベンチマークタスクにおける標準的な全結合型および畳み込み型ネットワークと比べてどうか？
• RQ5 アップリフトアプローチは、過去のアップリフトモデルでよく見られる性能の劣化を排除できるか？

主な発見

• Fenchel lifted networks は、ベンチマークタスクにおいて、従来の全結合型および畳み込み型ネットワークと同等またはそれ以上の性能を達成する。
• この手法は、活性化関数の制約をラグランジュ緩和することで、元の非凸学習目的関数に対する厳密な下界を提供する。
• ブロック座標降下により、効率的かつスケーラブルな最適化が可能となり、データポイントおよびネットワークレイヤー間での並列化が可能である。
• このフレームワークは、過去のアップリフトモデルでよく見られる性能の劣化を回避し、競争力のある精度を維持する。
• このアプローチは、構造的最適化の利点と高いモデル容量・一般化性能の両立に成功している。