[논문 리뷰] Differentiating Through a Conic Program

Akshay Agrawal, Shane Barratt외 3명|arXiv (Cornell University)|2019. 04. 19.

Advanced Optimization Algorithms Research참고 문헌 43인용 수 38

한 줄 요약

이 논문은 볼록 쿠론 프로그래밍의 해 맵 도함수를 효율적으로 계산하기 위한 방법을 제안한다. 이는 동차 자기쌍대 임bedding의 잔여 맵을 암묵적으로 미분하고, 반복적 방법을 사용하여 유도된 선형 시스템을 해결하는 방식이다. 이 방법은 수백만 개의 계수를 가진 문제에서 도함수 연산자와 그 쌍대 연산자의 스케일러블한 계산을 가능하게 하며, 섭동 분석과 자동 미분을 통한 기울기 계산을 지원한다.

ABSTRACT

We consider the problem of efficiently computing the derivative of the solution map of a convex cone program, when it exists. We do this by implicitly differentiating the residual map for its homogeneous self-dual embedding, and solving the linear systems of equations required using an iterative method. This allows us to efficiently compute the derivative operator, and its adjoint, evaluated at a vector. These correspond to computing an approximate new solution, given a perturbation to the cone program coefficients (i.e., perturbation analysis), and to computing the gradient of a function of the solution with respect to the coefficients. Our method scales to large problems, with numbers of coefficients in the millions. We present an open-source Python implementation of our method that solves a cone program and returns the derivative and its adjoint as abstract linear maps; our implementation can be easily integrated into software systems for automatic differentiation.

연구 동기 및 목표

• 해가 미분 가능할 경우 볼록 쿠론 프로그래밍의 해 맵 도함수를 효율적으로 계산할 수 있도록 하는 것.
• 문제 계수의 미세한 변화가 해에 미치는 영향을 분석하기 위해 섭동 분석을 지원하는 것.
• 쿠론 프로그래밍 해에 의존하는 목적 함수의 계수에 대한 기울기를 계산하는 것.
• 수백만 개의 계수를 가진 대규모 문제로 도함수 계산을 스케일링하는 것.
• 자동 미분 프레임워크와 통합 가능한 오픈소스 구현을 제공하는 것.

제안 방법

• 쿠론 프로그래밍의 동차 자기쌍대 임bedding의 잔여 맵을 암묵적으로 미분한다.
• 도함수 계산을 암묵함수정리로부터 유도된 선형방정식계로 공식화한다.
• 반복적 해법을 사용하여 도함수 계산에서 유도되는 선형 시스템을 효율적으로 해결한다.
• 이 방법은 도함수 연산자와 그 쌍대 연산자를 추상 선형 사상으로 계산한다.
• 구현은 파이썬으로 작성되었으며, 도함수와 쌍대 연산자를 AD 파이프라인에 통합하기 위해 일급 객체로 노출시킨다.
• 명시적 행렬 조립을 피함으로써 대규모 문제에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 볼록 쿠론 프로그래밍의 해 맵 도함수를 어떻게 효율적으로 계산할 수 있는가?
• RQ2 대규모 쿠론 프로그래밍에 대해 도함수와 그 쌍대 연산자를 계산하는 가장 스케일러블한 방법은 무엇인가?
• RQ3 암묵적 미분과 반복적 해법을 사용하여 도함수 계산에서 명시적 행렬 형성 방식을 피할 수 있는가?
• RQ4 이 방법은 수백만 개의 계수를 가진 문제에 얼마나 잘 스케일링되는가?
• RQ5 계산된 도함수와 쌍대 연산자는 자동 미분 프레임워크에 원활하게 통합될 수 있는가?

주요 결과

• 이 방법은 암묵적 미분과 반복적 선형 해법을 활용하여 볼록 쿠론 프로그래밍의 도함수 연산자와 그 쌍대 연산자를 효율적으로 계산할 수 있다.
• 이 방법은 수백만 개의 계수를 가진 문제로까지 스케일링되며, 대규모 응용에 대한 실용적 타당성을 입증한다.
• 도함수 계산은 해에 의존하는 함수에 대한 섭동 분석과 기울기 계산을 모두 지원한다.
• 오픈소스 파이썬 구현은 도함수와 쌍대 연산자를 추상 선형 사상으로 노출시켜 AD 시스템에의 통합을 용이하게 한다.
• 명시적 행렬 조립을 피함으로써 메모리 오버헤드를 줄이고 계산 효율성을 향상시킨다.
• 수치 실험을 통한 검증을 통해 이 기법은 정확하고 강건함을 입증하였다.