[논문 리뷰] On the Differentiability of the Solution to Convex Optimization Problems

Shane Barratt|arXiv (Cornell University)|2018. 04. 13.

Optimization and Variational Analysis참고 문헌 3인용 수 40

한 줄 요약

이 논문은 KKT 시스템에 대한 암시적 함수 정리를 이용하여 문제 데이터에 대한 볼록 최적화 해의 도함사가 존재하는 조건을 도출한다. 또한 KKT 행렬 분해를 재사용하여 야코비안(Jacobian)을 효율적으로 계산하는 방법도 제시한다.

ABSTRACT

In this paper, we provide conditions under which one can take derivatives of the solution to convex optimization problems with respect to problem data. These conditions are (roughly) that Slater's condition holds, the functions involved are twice differentiable, and that a certain Jacobian matrix is non-singular. The derivation involves applying the implicit function theorem to the necessary and sufficient KKT system for optimality.

연구 동기 및 목표

• 문제 데이터 변경에 대한 볼록 최적화 해의 민감도 연구의 동기를 부여한다.
• 해 매핑이 문제 데이터에 대해 미분가능한 조건을 제공한다.
• 문제 매개변수에 대한 해(및 쌍대 변수)의 야코비안을 도출하는 공식을 제시한다.

제안 방법

• 프레이멀 변수, 부등식 및 동등 제약이 포함된 매개변수화된 볼록 문제를 형식화한다.
• 매개변수화된 문제에 대해 필요충분조건 최적성 프레임워크로 KKT 조건을 적용한다.
• KKT 조건을 포괄하는 g 함수를 구성하고 g에 암시적 함수 정리를 적용하여 야코비안을 얻는다.
• KKT 시스템에 대해 블록 야코비안 D_x g, D_theta g, 및 D_theta g를 정의하고 계산한다.
• 해 매핑의 야코비안을 -D_z g^{-1} D_theta g로 표현할 수 있음을 보인다.
• 내부점 방법에서 일반적으로 사용되는 KKT 행렬 분해를 재사용하여 계산 효율성을 논의한다.

실험 결과

연구 질문

• RQ1 매개변수화된 볼록 최적화 문제의 해가 데이터 theta에 대해 어떤 조건에서 미분가능한가?
• RQ2 KKT 시스템을 사용하여 해(및 쌍대 변수)의 야코비안을 theta에 대해 어떻게 계산할 수 있는가?
• RQ3 야코비안 계산이 내부점 방법의 기존 분해 작업을 활용하여 효율적일 수 있는가?
• RQ4 결과가 이차계획법의 미분과 미분가능한 최적화 레이어에 대한 선행 연구와 어떻게 연관되는가?

주요 결과

• 슬레이터 조건이 충족되고 적절한 미분가능성 가정이 성립하며 Jacobian D_x g가 비특이적이면 해 매핑은 theta에 대해 미분가능하다.
• 해 매핑의 야코비안은 D_theta s(theta) = - D_z g(z, theta)^{-1} D_theta g(z, theta) 이고 여기서 z는 (x, lambda, nu)를 모은다.
• 이 프레임워크는 이차계획법에 대한 도함수 결과를 일반 볼록 문제로 일반화한다.
• 야코비안은 프라이멀-듀얼 내부점 방법에서 사용하는 동일한 분해를 사용하여 계산할 수 있어 재사용이 가능하다.
• 이 접근법은 Amos와 Kolter의 결과와 일치하고 일반 볼록 최적화 설정과 명시적 야코비안 공식을 제공함으로써 확장한다.