[論文レビュー] Differentiating through Log-Log Convex Programs

Akshay Agrawal, Stephen Boyd|arXiv (Cornell University)|Apr 27, 2020

Advanced Optimization Algorithms Research参考文献 49被引用数 4

ひとこと要約

この論文では、対数-対数凸計画問題（LLCP）を効率的に微分する手法を提示しており、自動微分を用いてパラメータ化されたLLCPの勾配計算を可能にしている。凸最適化の微分技術と対数-対数変換を活用することで、PyTorch や TensorFlow における微分可能最適化層の訓練が可能となり、単調回帰や状態制約付きキューイングシステム設計といった応用で最先端の性能を示している。

ABSTRACT

We show how to efficiently compute the derivative (when it exists) of the solution map of log-log convex programs (LLCPs). These are nonconvex, nonsmooth optimization problems with positive variables that become convex when the variables, objective functions, and constraint functions are replaced with their logs. We focus specifically on LLCPs generated by disciplined geometric programming, a grammar consisting of a set of atomic functions with known log-log curvature and a composition rule for combining them. We represent a parametrized LLCP as the composition of a smooth transformation of parameters, a convex optimization problem, and an exponential transformation of the convex optimization problem's solution. The derivative of this composition can be computed efficiently, using recently developed methods for differentiating through convex optimization problems. We implement our method in CVXPY, a Python-embedded modeling language and rewriting system for convex optimization. In just a few lines of code, a user can specify a parametrized LLCP, solve it, and evaluate the derivative or its adjoint at a vector. This makes it possible to conduct sensitivity analyses of solutions, given perturbations to the parameters, and to compute the gradient of a function of the solution with respect to the parameters. We use the adjoint of the derivative to implement differentiable log-log convex optimization layers in PyTorch and TensorFlow. Finally, we present applications to designing queuing systems and fitting structured prediction models.

研究の動機と目的

• 対数-対数凸計画問題（LLCP）のパラメータ化された場合の効率的勾配計算を可能にすること。LLCPは非凸であるが、対数変換により凸問題に変換可能である。
• 問題パラメータに関する解写像の導関数を計算することで、LLCPにおける感度分析とパrameter最適化を支援すること。
• CVXPYベースのレイヤーを用いて、PyTorch や TensorFlow といったディープラーニングフレームワークへの微分可能LLCPの統合を実現すること。
• 単調回帰や構造的制約付きキューイングシステム設計といった応用において、実用的有用性を示すこと。
• 予測が学習可能なパラメータを有するLLCPの解であるモデルのエンドツーエンド訓練を可能にするスケーラブルで包括的な手法を提供すること。

提案手法

• パラメータ化されたLLCPを、$ u = \log x $, $ F(u) = \log f(e^u) $ という対数-対数変換により凸最適化問題に変換し、対数-対数凸関数を凸関数に変換する。
• 解写像を、(1) スムーズなパrameter変換、(2) 凸最適化問題、(3) 解の指数変換の合成として表現する。
• 最近開発された凸最適化問題の微分手法を活用し、合成関数全体の導関数を効率的に計算する。
• CVXPYに実装し、ユーザーがパラメータ化されたLLCPを定義し、数行のコードで勾配やアドジョイントを計算可能にする。
• 導関数のアドジョイントを活用し、PyTorch や TensorFlow と互換性のある微分可能最適化レイヤーを構築する。
• アドジョイント勾配を用いて解写像を逆伝播することで、LLCPに基づくモデルの学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 対数-対数凸計画問題の解写像は、そのパラメータに関して効率的に微分可能か？
• RQ2 明示的な記号的微分を用いずに、パラメータ化されたLLCPの解の導関数をどのように計算できるか？
• RQ3 微分可能LLCPレイヤーは、ディープラーニングフレームワークに統合可能で、エンドツーエンド学習が可能か？
• RQ4 単調性をLLCPで制約することで、構造的予測タスクにおける性能向上はどの程度達成できるか？
• RQ5 単調性と一般化性能の観点から、微分可能LLCPアプローチは、標準的な最小二乗法フィッティングと比較してどのように差をつけるか？

主な発見

• 解写像の導関数のアドジョイントを用いることで、LLCP解のスカラー関数のパラメータに関する勾配を効率的に計算可能である。
• CVXPYにおける実装により、ユーザーは最小限のコードでパラメータ化されたLLCPを定義し、前向きおよびアドジョイント勾配の両方をサポートする。
• 単調回帰タスクにおいて、10回の訓練イテレーション後に検証誤差が0.0077に低下し、最小二乗法初期化時の0.0081から改善した。
• LLCPモデルは非単調な最小二乗法フィットとは異なり、単調な予測を生成した。これは構造的予測における重要な利点である。
• 1回の訓練イテレーションで150回のLLCPの解法と微分が行われ、2012年製MacBook Proで約10秒を要し、実用的なスケーラビリティを示した。
• 本手法により、PyTorch や TensorFlow における微分可能最適化レイヤーの実現が成功し、最適化を組み込んだモデルのエンドツーエンド学習が可能となった。