[논문 리뷰] Pymanopt: A Python Toolbox for Optimization on Manifolds using Automatic Differentiation

James T. Townsend, Niklas Koep외 1명|arXiv (Cornell University)|2016. 03. 10.

Advanced Numerical Analysis Techniques인용 수 107

한 줄 요약

Pymanopt 은 자동 미분으로 매니폴드 최적화를 가능하게 하는 Python 도구 상자로, 수동 미분 작업을 줄이고 프로토타이핑 속도를 높입니다. Autograd, Theano, 또는 TensorFlow 와 인터페이스하며 매니폴드별 솔버를 제공합니다.

ABSTRACT

Optimization on manifolds is a class of methods for optimization of an objective function, subject to constraints which are smooth, in the sense that the set of points which satisfy the constraints admits the structure of a differentiable manifold. While many optimization problems are of the described form, technicalities of differential geometry and the laborious calculation of derivatives pose a significant barrier for experimenting with these methods. We introduce Pymanopt (available at https://pymanopt.github.io), a toolbox for optimization on manifolds, implemented in Python, that---similarly to the Manopt Matlab toolbox---implements several manifold geometries and optimization algorithms. Moreover, we lower the barriers to users further by using automated differentiation for calculating derivative information, saving users time and saving them from potential calculation and implementation errors.

연구 동기 및 목표

• Smooth manifolds 위에서의 최적화를 미분 계산 장벽 최소화를 통해 단순화하려는 동기.
• manifold geometry 와 automatic differentiation 를 결합한 Python 기반 파이프라인을 제공하려는 목표.
• 최소한의 사용자 설정으로 Reimannian 최적화 문제의 rapid prototyping 을 가능하게 하려는 목표。

제안 방법

• differentiable manifolds 위에서의 최적화를 위한 모듈식 Python toolkit 을 구현한다.
• 자동 미분을 위한 Autograd, Theano, 또는 TensorFlow 로 정의된 비용 함수를 지원한다.
• 매니폴드 최적화를 위한 Riemannian Trust Regions 와 같은 솔버를 노출한다.
• 예시로 PSD fixed-rank, Grassmann 등 Ready-made 매니폴드 기하를 제공한다.
• 사용자가 최소한의 보일러플레이트로 매니폴드, 비용 함수, 솔버를 정의할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Python 에서 자동 미분을 통해 매니폴드 최적화를 어떻게 접근 가능하게 만들 수 있는가?
• RQ2 lightweight 하면서 확장 가능한 도구 상자가 Matlab 의 Manopt 의 사용 편의성과 Python 생태계의 이점을 동시에 제공할 수 있는가?
• RQ3 자동 미분 백엔드가 프로토타이핑 속도와 매니폴드 최적화의 오류 감소에 어떤 영향을 미치는가?

주요 결과

• Pymanopt 은 매니폴드 최적화를 위한 최첨단 솔버를 수동 미분 없이 쉽게 실험할 수 있게 한다.
• 도구 상자는 derivative 계산을 위한 다중 백엔드(Autograd, Theano, TensorFlow) 를 지원한다.
• 사용자는 비용 함수를 서로 다른 노름이나 강건 손실로 최소한의 코드 변경으로 교체할 수 있다.
• 설계는 Python 에서 익숙한 매니폴드 및 솔버 구조를 활용하기 위해 Manopt 를 모방한다.
• TensorFlow 백엔드를 활용한 대규모 응용에 도움이 될 가능성이 있다.