[論文レビュー] OptNet: Differentiable Optimization as a Layer in Neural Networks

Brandon Amos, J. Zico Kolter|arXiv (Cornell University)|Mar 1, 2017

Advanced Optimization Algorithms Research参考文献 23被引用数 137

ひとこと要約

OptNet はニューラルネットに微分可能な二次計画法層を挿入し、制約付き最適化と効率的なバッチGPUソルバを用いたエンドツーエンドのトレーニングを可能にします。

ABSTRACT

This paper presents OptNet, a network architecture that integrates optimization problems (here, specifically in the form of quadratic programs) as individual layers in larger end-to-end trainable deep networks. These layers encode constraints and complex dependencies between the hidden states that traditional convolutional and fully-connected layers often cannot capture. We explore the foundations for such an architecture: we show how techniques from sensitivity analysis, bilevel optimization, and implicit differentiation can be used to exactly differentiate through these layers and with respect to layer parameters; we develop a highly efficient solver for these layers that exploits fast GPU-based batch solves within a primal-dual interior point method, and which provides backpropagation gradients with virtually no additional cost on top of the solve; and we highlight the application of these approaches in several problems. In one notable example, the method is learns to play mini-Sudoku (4x4) given just input and output games, with no a-priori information about the rules of the game; this highlights the ability of OptNet to learn hard constraints better than other neural architectures.

研究の動機と目的

• 標準の層を超える複雑な依存関係を捉えるため、正確な制約付き最適化をニューラルネットワーク内の微分可能な層として組み込む。
• KKT感度解析を用いた微分可能な勾配計算を開発し、最適化層を通じて逆伝播できるようにする。
• 小さなQP向けの高速なバッチGPUソルバを提供し、これらの層を用いたエンドツーエンドの学習を実証する。
• ハード制約を必要とするタスクでOptNetの表現力と実用的な利点を示す。

提案手法

• OptNet層を前の層に微分可能に依存するパラメータを持つ二次計画問題として定式化する。
• 行列の微分計算を用いてKKT条件を微分し、逆伝播ルールを得る。
• 密なQP向けにGPU上でバッチの primal-dual 内点法を開発し、PyTorchと統合する。
• 最小限の追加コストで勾配を計算するため、KKT因子分解を再利用する逆伝播機構を提供する。
• mini-Sudokuや信号デノイズなどのタスクにOptNetを適用してエンドツーエンド学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 制約付き最適化をニューラルネットワーク内の微分可能な層として統合できるか？
• RQ2 等式・不等式制約の両方を持つ二次計画の解をどう微分するか？
• RQ3 OptNet層のためのバッチGPUQPソルバの性能とスケーラビリティの利点は何か？
• RQ4 ハード制約を必要とするタスクにおける学習を、従来のネットワークと比較してOptNet層はどの程度改善できるか？

主な発見

方法	訓練MSE	テストMSE
FC Net	18.5	29.8
Pure OptNet	52.9	53.3
Total Variation	16.3	16.5
OptNet Tuned TV	13.8	14.4

• OptNetはKKTベースの勾配を介して制約付きQP層を微分することでエンドツーエンド学習を可能にする。
• バッチGPU primal-dual interior pointソルバは、バッチサイズ128の場合、Gurobi/CPLEXの100倍以上の速度でQPを解く。
• QP OptNet層は任意の階層化線形関数を表現でき、標準層が苦手とする制約を捉えられる。
• ノイズ除去実験では、総変動制約を調整したOptNetは、TV単独およびプレーンFCネットよりテストMSEを改善する。
• 数独実験では、OptNetは必要なハード制約を学習し、未知のパズルへの一般化性能が純粋なニューラルベースラインより高い。