[論文レビュー] Differentiating Through a Conic Program

Akshay Agrawal, Shane Barratt+3 more|arXiv (Cornell University)|Apr 19, 2019

Advanced Optimization Algorithms Research参考文献 43被引用数 38

ひとこと要約

この論文は、凸錐計画問題の解写像の微分を効率的に計算する手法を提案している。同手法は、同次自己双対埋め込みの残差写像を暗黙的微分し、反復法を用いて得られる線形方程式系を解く。このアプローチにより、数百万の係数を含む問題において、微分作用素とその随伴作用素のスケーラブルな計算が可能となり、摂動解析と自動微分による勾配計算を支援する。

ABSTRACT

We consider the problem of efficiently computing the derivative of the solution map of a convex cone program, when it exists. We do this by implicitly differentiating the residual map for its homogeneous self-dual embedding, and solving the linear systems of equations required using an iterative method. This allows us to efficiently compute the derivative operator, and its adjoint, evaluated at a vector. These correspond to computing an approximate new solution, given a perturbation to the cone program coefficients (i.e., perturbation analysis), and to computing the gradient of a function of the solution with respect to the coefficients. Our method scales to large problems, with numbers of coefficients in the millions. We present an open-source Python implementation of our method that solves a cone program and returns the derivative and its adjoint as abstract linear maps; our implementation can be easily integrated into software systems for automatic differentiation.

研究の動機と目的

• 解が微分可能である場合に、凸錐計画問題における解写像の微分を効率的に計算すること。
• 問題係数の微小な変化が解に与える影響を分析するため、摂動解析を支援すること。
• 錐計画問題の解に依存する目的関数の係数に関する勾配を計算すること。
• 数百万の係数を含む大規模問題への微分計算をスケーラブルにすること。
• 自動微分フレームワークに統合可能なオープンソース実装を提供すること。

提案手法

• 錐計画問題の同次自己双対埋め込みの残差写像を暗黙的に微分する。
• 陰関数定理から導かれる線形方程式系として微分計算を定式化する。
• 反復ソルバを用いて微分計算に由来する線形方程式系を効率的に解く。
• 微分作用素とその随伴作用素を抽象線形写像として計算する。
• Pythonで実装され、ADパイプラインへの統合を可能にするために、微分と随伴を一次的オブジェクトとして公開する。
• 明示的な行列構築を回避することで、大規模問題へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 凸錐計画問題の解写像の微分を効率的に計算するにはどうすればよいか？
• RQ2 大規模な錐計画問題に対して、微分とその随伴を最もスケーラブルに計算する方法は何か？
• RQ3 暗黙的微分と反復ソルバを用いることで、微分計算における明示的行列形成を回避できるか？
• RQ4 この手法は、数百万の係数を含む問題へどの程度スケーリングできるか？
• RQ5 計算された微分と随伴は、自動微分フレームワークにシームレスに統合できるか？

主な発見

• 暗黙的微分と反復線形ソルバを用いることで、凸錐計画問題における微分作用素とその随伴の効率的計算が可能である。
• 本手法は、最大で数百万の係数を含む問題へスケーリング可能であり、大規模応用における実用的妥当性を示している。
• 微分計算は、解に依存する関数の摂動解析および勾配計算を両方支援する。
• オープンソースのPython実装により、微分と随伴が抽象線形写像として公開されており、ADシステムへの統合を容易にする。
• 明示的行列構築を回避することで、メモリオーバーヘッドを低減し、計算効率を向上させる。
• 大規模な錐計画問題における数値実験により、手法のロバスト性と正確性が検証された。