[논문 리뷰] OptNet: Differentiable Optimization as a Layer in Neural Networks

Brandon Amos, J. Zico Kolter|arXiv (Cornell University)|2017. 03. 01.

Advanced Optimization Algorithms Research참고 문헌 23인용 수 137

한 줄 요약

OptNet은 신경망에 미분 가능 이차 계획법(QP) 층을 삽입하여 제약 최적화가 가능하고 배치된 GPU 해_solver를 통해 효율적인 엔드 투 엔드 학습을 가능하게 합니다.

ABSTRACT

This paper presents OptNet, a network architecture that integrates optimization problems (here, specifically in the form of quadratic programs) as individual layers in larger end-to-end trainable deep networks. These layers encode constraints and complex dependencies between the hidden states that traditional convolutional and fully-connected layers often cannot capture. We explore the foundations for such an architecture: we show how techniques from sensitivity analysis, bilevel optimization, and implicit differentiation can be used to exactly differentiate through these layers and with respect to layer parameters; we develop a highly efficient solver for these layers that exploits fast GPU-based batch solves within a primal-dual interior point method, and which provides backpropagation gradients with virtually no additional cost on top of the solve; and we highlight the application of these approaches in several problems. In one notable example, the method is learns to play mini-Sudoku (4x4) given just input and output games, with no a-priori information about the rules of the game; this highlights the ability of OptNet to learn hard constraints better than other neural architectures.

연구 동기 및 목표

• 신경망에서 exact constrained optimization을 미분 가능 층으로 도입하여 표준 층을 넘어서는 복잡한 의존성을 포착한다.
• 최적화 층을 역전파하기 위해 KKT 민감도 분석을 통한 미분 가능한 기울기 계산을 개발한다.
• 소형 QP에 대해 빠르고 배치된 GPU 해를 제공하고 이 층들로 엔드투엔드 학습을 입증한다.
• Hard constraints가 필요한 작업에서 OptNet의 표현력과 실용적 이점을 보여준다.

제안 방법

• OptNet 층을 매개변수가 이전 층에 따라 미분 가능하게 의존하는 이차 계획법으로 형식화한다.
• 행렬 미분 계산을 사용하여 KKT 조건을 통해 역전파 규칙을 얻는다.
• dense QP를 대상으로 하는 배치 프라이멀-듀얼 인테리어 포인트 방법을 GPU에 맞게 개발하고 PyTorch와 통합한다.
• 추가 비용을 최소화하기 위해 KKT 분해를 재사용하는 역전파 메커니즘을 제공한다.
• Mini-Sudoku 및 신호 잡음 제거와 같은 작업에 OptNet을 적용하여 엔드투엔드 학습을 입증한다.

실험 결과

연구 질문

• RQ1 제약 최적화가 신경망 내에서 미분 가능 층으로 통합될 수 있는가?
• RQ2 동등성 및 부등식 제약을 모두 갖는 이차 계획법의 해를 통해 어떻게 미분할 수 있는가?
• RQ3 OptNet 층을 위한 배치된 GPU QP 해법의 성능 및 확장성 이점은 무엇인가?
• RQ4 Hard constraints가 필요한 작업에서 전통적인 네트워크에 비해 학습 성능이 얼마나 개선되는가?

주요 결과

Method	Train MSE	Test MSE
FC Net	18.5	29.8
Pure OptNet	52.9	53.3
Total Variation	16.3	16.5
OptNet Tuned TV	13.8	14.4

• OptNet은 KKT 기반 기울기를 통해 제약된 QP 층을 미분함으로써 엔드투엔드 학습을 가능하게 한다.
• 배치 크기 128에서 Gurobi/CPLEX에 비해 100배 빠르게 QP를 해결하는 배치된 GPU 프라이멀-듀얼 인테리어 포인트 해법이 있다.
• QP OptNet 층은 임의의 조각-선형 함수들을 표현할 수 있으며 표준 층이 다루기 어려운 제약을 포착할 수 있다.
• 잡음 제거 실험에서 조정된 총변동(Total Variation) 제약이 TV 단독 및 일반 FC 네트에 비해 테스트 MSE를 개선한다.
• 스도쿠 실험에서 OptNet은 필요한 Hard constraints를 학습하고 보지 못한 퍼즐에 대해 순수한 신경망 기반 대비 일반화가 더 잘 된다.