[論文レビュー] Input Convex Neural Networks

Brandon Amos, Lei Xu+1 more|arXiv (Cornell University)|Sep 22, 2016

Neural Networks and Applications参考文献 38被引用数 97

ひとこと要約

この論文は、ネットワークのパラメータを制約することで、入力のサブセットに関して出力が凸であることを保証する入力凸ニューラルネットワーク（ICNN）を導入する。これにより、凸最適化を用いたグローバルに最適な効率的な推論が可能となり、従来の手法と比較して構造予測、画像補完、連続的制御強化学習の分野で顕著な性能向上が達成される。

ABSTRACT

This paper presents the input convex neural network architecture. These are scalar-valued (potentially deep) neural networks with constraints on the network parameters such that the output of the network is a convex function of (some of) the inputs. The networks allow for efficient inference via optimization over some inputs to the network given others, and can be applied to settings including structured prediction, data imputation, reinforcement learning, and others. In this paper we lay the basic groundwork for these models, proposing methods for inference, optimization and learning, and analyze their representational power. We show that many existing neural network architectures can be made input-convex with a minor modification, and develop specialized optimization algorithms tailored to this setting. Finally, we highlight the performance of the methods on multi-label prediction, image completion, and reinforcement learning problems, where we show improvement over the existing state of the art in many cases.

研究の動機と目的

• 構造予測における出力変数のサブセットに関して出力が凸であることを保証するニューラルネットワークアーキテクチャを開発し、凸最適化によるグローバルに最適な推論を可能にすること。
• 出力関数の凸性を活用することで、構造予測およびデータ補完タスクにおける効率的かつスケーラブルな推論を実現すること。
• Q関数を入力凸ネットワークとしてモデル化することで、深層学習モデルを連続的制御強化学習に拡張し、最適な行動選択を可能にすること。
• 凸性制約が、画像補完やロボット制御といった複雑なタスクで表現力の制限をもたらさないことを示すこと。
• 最適化を推論プロセスに統合する包括的なフレームワークを提供し、ヒューリスティック的または非凸な推論をグローバルに最適な解に置き換えること。

提案手法

• 全結合層および畳み込み層の重みを非負に制約することで、出力が入力のサブセットに関して凸となるニューラルネットワークアーキテクチャを提案する。
• 入力特徴に非凸なパスを許容しつつも、目的変数に関しては凸性を維持する部分的入力凸バージョン（PICNN）を導入する。
• 推論時に凸入力の上でのargmin問題を効率的に解くために、投影勾配降下法やバンドル法などの特殊な最適化アルゴリズムを開発する。
• 最大マージン構造予測または暗黙微分法によるargmin演算のバックプロパゲーションを通じて、エンドツーエンドのバックプロパゲーションまたは最大マージン構造予測を用いてネットワークを学習する。
• 構造予測におけるエネルギー関数および強化学習におけるQ関数をモデル化するためにICNNフレームワークを適用し、凸最適化による最適な推論を可能にする。
• 2段階の訓練プロセスを採用：まず損失関数の凸緩和を用いて事前学習を行い、次に非微分可能なargminを扱うために暗黙微分法を用いてファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、その出力が入力のサブセットに関して凸となるように制約できるか。これにより、凸最適化を用いたグローバルに最適な推論が可能になるか。
• RQ2 入力凸性を強制することで、画像補完や強化学習といった複雑なタスクにおける深層ネットワークの表現力が制限されるか。
• RQ3 ICNNの性能は、構造予測および連続的制御タスクにおいて最先端のモデルと比較してどうか。
• RQ4 全体的な学習プロセスに非凸性が存在するにもかかわらず、ICNNで効率的かつスケーラブルな最適化が達成できるか。
• RQ5 ICNNは、DDPGやNAFのような既存の関数近似器の即時置換として、どの程度の範囲で利用可能か。

主な発見

• 画像補完タスクにおいて、バンドルエントロピー訓練を用いたICNNはMSE 833.0を達成し、非凸ベースライン（850.9）および和積モデル（942）を上回った。
• 勾配降下法最適化を用いたICNNはMSE 872.0を達成し、単純な最適化手法でも凸性制約の下で競争力のある性能を示した。
• OpenAI Gym MuJoCoベンチマークでは、Humanoid（433.38）およびHopper（831.00）で最高のテスト報酬を記録し、DDPGおよびNAFを上回った。
• HalfCheetahでは、ICNNが3822.99のテスト報酬を達成し、DDPG（2909.77）およびNAF（2575.16）を著しく上回った。
• Reacher（-5.08）およびWalker2d（298.21）でもICNNはDDPGおよびNAFを上回り、連続的制御タスクにおける強靭性を示した。
• 結果から、入力凸性が表現力に制限をもたらさないことが明らかになった。バンドルエントロピー訓練を用いたICNNは、非凸モデルと同等またはそれ以上の性能を達成した。