[논문 리뷰] Differentiating through Log-Log Convex Programs

Akshay Agrawal, Stephen Boyd|arXiv (Cornell University)|2020. 04. 27.

Advanced Optimization Algorithms Research참고 문헌 49인용 수 4

한 줄 요약

이 논문은 로그-로그 볼록 프로그래밍(LLCP)을 통해 효율적인 미분을 제안하며, 자동 미분을 통해 매개변수화된 LLCP의 기울기 계산을 가능하게 한다. 볼록 최적화의 미분 기법과 로그-로그 변환을 활용함으로써, PyTorch 및 TensorFlow에서 미분 가능한 최적화 레이어를 학습시킬 수 있으며, 이는 단조성 회귀 및 큐잉 시스템 설계와 같은 응용 분야에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

We show how to efficiently compute the derivative (when it exists) of the solution map of log-log convex programs (LLCPs). These are nonconvex, nonsmooth optimization problems with positive variables that become convex when the variables, objective functions, and constraint functions are replaced with their logs. We focus specifically on LLCPs generated by disciplined geometric programming, a grammar consisting of a set of atomic functions with known log-log curvature and a composition rule for combining them. We represent a parametrized LLCP as the composition of a smooth transformation of parameters, a convex optimization problem, and an exponential transformation of the convex optimization problem's solution. The derivative of this composition can be computed efficiently, using recently developed methods for differentiating through convex optimization problems. We implement our method in CVXPY, a Python-embedded modeling language and rewriting system for convex optimization. In just a few lines of code, a user can specify a parametrized LLCP, solve it, and evaluate the derivative or its adjoint at a vector. This makes it possible to conduct sensitivity analyses of solutions, given perturbations to the parameters, and to compute the gradient of a function of the solution with respect to the parameters. We use the adjoint of the derivative to implement differentiable log-log convex optimization layers in PyTorch and TensorFlow. Finally, we present applications to designing queuing systems and fitting structured prediction models.

연구 동기 및 목표

• 로그-로그 볼록 프로그래밍(LLCP)에 대한 효율적인 기울기 계산을 가능하게 하여, 이는 비볼록이지만 로그 변환을 통해 볼록 문제로 변환될 수 있다.
• 문제 매개변수에 대한 해 맵의 도함수를 계산하여, LLCP의 민감도 분석 및 매개변수 최적화를 지원한다.
• CVXPY 기반의 레이어를 통해 PyTorch 및 TensorFlow와 같은 딥러닝 프레임워크에 미분 가능한 LLCP를 통합한다.
• 단조성 제약 조건이 있는 응용 분야, 예를 들어 단조성 회귀 및 큐잉 시스템 설계에서 실용적 유용성을 입증한다.
• 예측이 학습 가능한 매개변수를 가진 LLCP의 해인 모델을 훈련하기 위한 확장성 있고 종단 간(end-to-end)의 방법을 제공한다.

제안 방법

• 매개변수화된 LLCP를 로그-로그 변환 $ u = \log x $, $ F(u) = \log f(e^u) $ 를 통해 볼록 최적화 문제로 변환하여, 로그-로그 볼록 함수를 볼록 함수로 변환한다.
• 해 맵을 다음과 같은 조합으로 표현한다: (1) 매끄러운 매개변수 변환, (2) 볼록 최적화 문제, (3) 해에 대한 지수 변환.
• 최근 개발된 볼록 최적화 문제를 통한 미분 기법을 활용하여 전체 조합의 도함수를 효율적으로 계산한다.
• CVXPY에 구현하여 사용자가 몇 줄의 코드로 매개변수화된 LLCP를 정의하고 기울기 또는 애드조인(Adjoint)을 계산할 수 있도록 한다.
• 도함수의 애드조인을 활용하여 PyTorch 및 TensorFlow와 호환되는 미분 가능한 최적화 레이어를 구축한다.
• 애드조인 기울기로 해 맵을 통해 역전파하여 LLCP 기반 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 로그-로그 볼록 프로그래밍의 해 맵은 매개변수에 대해 효율적으로 미분 가능한가?
• RQ2 명시적 기호 미분 없이 매개변수화된 LLCP의 해 도함수는 어떻게 계산할 수 있는가?
• RQ3 미분 가능한 LLCP 레이어는 딥러닝 프레임워크에 통합되어 종단 간 훈련이 가능한가?
• RQ4 LLCP를 통해 단조성을 강제함으로써 구조적 예측 작업에서 어떤 성능 향상을 달성할 수 있는가?
• RQ5 일반화성과 단조성 측면에서, 미분 가능한 LLCP 접근법은 표준 최소 제곱법에 비해 어떻게 비교되는가?

주요 결과

• 이 방법은 해 맵 도함수의 애드조인을 활용하여, LLCP 해의 스칼라 함수에 대한 매개변수에 대한 기울기를 효율적으로 계산할 수 있다.
• CVXPY에 구현된 구현은 사용자가 최소한의 코드로 매개변수화된 LLCP를 정의하고 기울기(전진 및 애드조인)를 계산할 수 있도록 지원한다.
• 단조성 회귀 작업에서, 10회의 훈련 반복 후 LLCP 기반 모델은 검증 오차 0.0077을 달성하였으며, 최소 제곱법 초기화로 시작한 0.0081에서 향상되었다.
• LLCP 모델은 단조성 예측을 생성하는 반면, 비단조성 최소 제곱법 피팅은 그렇지 않아, 구조적 예측에서 핵심적인 이점이다.
• 각 훈련 반복은 약 150회의 LLCP 해법과 미분을 포함하며, 2012년형 맥북 프로에서 약 10초가 소요되어 실용적인 확장성을 입증하였다.
• 이 방법은 PyTorch 및 TensorFlow에서 미분 가능한 최적화 레이어를 성공적으로 구현하여, 내장된 최적화를 가진 모델의 종단 간 훈련을 가능하게 하였다.