[論文レビュー] Pymanopt: A Python Toolbox for Optimization on Manifolds using Automatic Differentiation

James T. Townsend, Niklas Koep+1 more|arXiv (Cornell University)|Mar 10, 2016

Advanced Numerical Analysis Techniques被引用数 107

ひとこと要約

Pymanopt は自動微分を備えた多様体上の最適化を可能にする Python のツールボックスで、手動微分作業を減らし、プロトタイピングを加速します。 Autograd、Theano、または TensorFlow と連携し、多様体専用のソルバーを提供します。

ABSTRACT

Optimization on manifolds is a class of methods for optimization of an objective function, subject to constraints which are smooth, in the sense that the set of points which satisfy the constraints admits the structure of a differentiable manifold. While many optimization problems are of the described form, technicalities of differential geometry and the laborious calculation of derivatives pose a significant barrier for experimenting with these methods. We introduce Pymanopt (available at https://pymanopt.github.io), a toolbox for optimization on manifolds, implemented in Python, that---similarly to the Manopt Matlab toolbox---implements several manifold geometries and optimization algorithms. Moreover, we lower the barriers to users further by using automated differentiation for calculating derivative information, saving users time and saving them from potential calculation and implementation errors.

研究の動機と目的

• 滑らかな多様体上の最適化を、微分計算の障壁を最小化する動機付けから簡素化する。
• 多様体幾何と自動微分を組み合わせる Python ベースのパイプラインを提供する。
• ユーザー設定を最小限に抑えたリーマン最適化問題の迅速なプロトタイピングを可能にする。

提案手法

• 微分可能な多様体上の最適化のためのモジュラーな Python ツールキット
• 自動微分のために Autograd、Theano、または TensorFlow で定義されたコスト関数をサポートする。
• Riemannian Trust Regions などのソルバーを多様体最適化に提供する。
• 準備された多様体幾何学（例：PSD 固定ランク、Grassmann など）を提供する。
• ユーザーが最小限のボイラープレートで多様体、コスト関数、ソルバーを定義できるようにする。

実験結果

リサーチクエスチョン

• RQ1 Python で自動微分を介して多様体上の最適化をどのようにアクセスしやすくできるか？
• RQ2 軽量で拡張可能なツールボックスは、Python エコシステムを活用しつつ Matlab の Manopt の使い勝手に追随できるか？
• RQ3 自動微分バックエンドがプロトタイピングの速度と多様体最適化におけるエラー削減に与える影響はどの程度か？

主な発見

• Pymanopt は手動微分を用いずに多様体最適化の最先端ソルバーを用いた実験を容易にする。
• ツールボックスは複数のバックエンド（Autograd、Theano、TensorFlow）を微分計算に対応させている。
• ユーザーはコスト関数を別のノルムやロバスト損失に最小限のコード変更で置換できる。
• 設計は Manopt を模倣して Python で馴染みの多様体とソルバー構造を活用している。
• このアプローチは TensorFlow バックエンドを用いた大規模アプリケーションを促進する可能性がある。