[論文レビュー] Differentiable Convex Optimization Layers

Akshay Agrawal, Brandon Amos+4 more|arXiv (Cornell University)|Oct 28, 2019

Stochastic Gradient Optimization Techniques被引用数 132

ひとこと要約

本論文は、 disciplin ed param...

ABSTRACT

Recent work has shown how to embed differentiable optimization problems (that is, problems whose solutions can be backpropagated through) as layers within deep learning architectures. This method provides a useful inductive bias for certain problems, but existing software for differentiable optimization layers is rigid and difficult to apply to new settings. In this paper, we propose an approach to differentiating through disciplined convex programs, a subclass of convex optimization problems used by domain-specific languages (DSLs) for convex optimization. We introduce disciplined parametrized programming, a subset of disciplined convex programming, and we show that every disciplined parametrized program can be represented as the composition of an affine map from parameters to problem data, a solver, and an affine map from the solver's solution to a solution of the original problem (a new form we refer to as affine-solver-affine form). We then demonstrate how to efficiently differentiate through each of these components, allowing for end-to-end analytical differentiation through the entire convex program. We implement our methodology in version 1.1 of CVXPY, a popular Python-embedded DSL for convex optimization, and additionally implement differentiable layers for disciplined convex programs in PyTorch and TensorFlow 2.0. Our implementation significantly lowers the barrier to using convex optimization problems in differentiable programs. We present applications in linear machine learning models and in stochastic control, and we show that our layer is competitive (in execution time) compared to specialized differentiable solvers from past work.

研究の動機と目的

• 凸最適化のDSLに優しい形で、DCP準拠の規律ある凸計算プログラムを微分可能にするためのフレームワークを提供する。
• パラメータから問題データへの写像をアフィンに保つよう、規律あるパラメータ化プログラミング（DPP）とASA形を導入する。
• CVXPY 1.1 における DPP/ASA の実装と PyTorch および TensorFlow 2.0 の微分可能な層の作成。
• 線形モデルの感度解析と確率的制御における学習制御リャポン（Lyapunov）ポリシーの学習を示す。
• 二次計画問題に対する特殊解法と比較して実行時間が競争力があることを示す。

提案手法

• パラメータがアフィン構造を持つパラメータ化された規律凸計算の文法として、規律あるパラメータ化プログラミング（DPP）を定義する。
• DPPをアフィン-ソルバー-アフィン（ASA）形に正準化し、問題データの写像をアフィンかつ微分可能にする。
• 解写像の微分を D^T S(θ) = D^T C(θ) D^T s(A,b,c) D^T R(x̃* ) を用いて表現し、ASA円錐計画には錐ソルバーを使用する。
• 正準化子 C を疎行列 Q と疎テンソル R として表現し、順伝播・逆伝播を効率化する。
• CVXPY 1.1 でこのアプローチを実装し、diffcp を活用して円錐計画微分を提供する PyTorch および TensorFlow 2.0 の微分可能凸最適化レイヤを提供する。
• 密結合・疎結合の二次計画問題に対して、例を示し、qpth などの専門ソルバーと実行時間を比較する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された場合に、規律凸計算プログラムはエンドツーエンドで微分可能になるか。
• RQ2 DPPおよびASA形は、カノニカル化を後ろ向き伝播せずに、凸最適化レイヤーを通じた自動微分を効率的に可能にするか。
• RQ3 主流MLフレームワークにおける微分可能レイヤーの実用的な性能は、専門ソルバーと比較してどうか。
• RQ4 このアプローチは感度解析と確率的制御におけるエンドツーエンド学習の新しい適用を可能にするか。

主な発見

• 本論文は DPP および ASA 形を導入し、パラメータから問題データへのアフィン変換と、ソルバー出力から元の問題解決へ至るアフィン写像を可能にする。
• CVXPY 1.1 における実装と PyTorch および TensorFlow 2.0 の微分可能な層を提供し、バッチ対応を実装している。
• 正準化を疎行列として表現することで前向き/後向き伝播を効率化する。
• データ汚染の感度解析と確率的制御の凸近似動的計画法への応用を実験で示す。
• 二次計画問題では、提案レイヤは dense な設定で qpth などの専門ソルバーと競合し、疎設定ではより高速。
• 従来の手法に比べて正準化時間を大幅に削減する。
• このフレームワークは CVX、CVXPY、Convex.jl、CVXR などの標準 DSL で解ける広範な凸問題へ適用可能。