[논문 리뷰] A Differentiable Augmented Lagrangian Method for Bilevel Nonlinear Optimization

Benoit Landry, Zachary Manchester외 1명|arXiv (Cornell University)|2019. 02. 08.

Optimization and Variational Analysis인용 수 4

한 줄 요약

이 논문은 하위 문제의 최적해를 KKT 조건에 의존하지 않고 하위 문제 해법기 내부에서 자동 미분이 가능하도록 하는 미분 가능한 증강 라그랑주 방법을 제안한다. 저자는 저자 문제 해법기를 줄리아로 구현하고 SNOPT와 같은 SQP 기반 해법기를 결합함으로써, 접촉 역학을 수반하는 로봇 제어 및 매개변수 추정과 같은 문제에 적합한 확장 가능한, 미분 가능한 이중선형 최적화를 달성한다.

ABSTRACT

Many problems in modern robotics can be addressed by modeling them as bilevel optimization problems. In this work, we leverage augmented Lagrangian methods and recent advances in automatic differentiation to develop a general-purpose nonlinear optimization solver that is well suited to bilevel optimization. We then demonstrate the validity and scalability of our algorithm with two representative robotic problems, namely robust control and parameter estimation for a system involving contact. We stress the general nature of the algorithm and its potential relevance to many other problems in robotics.

연구 동기 및 목표

• 복잡한 역학적 특성과 접촉력이 포함된 로봇 문제에서 이중 최적화 문제를 해결하는 데 도전하는 것.
• 최적의 하위 문제 해를 필요로 하고 비볼록성 또는 비연속성에 민감한 KKT 기반 접근법의 한계를 극복하는 것.
• 투영 단계 없이 등식 및 부등식 제약 조건을 모두 지원하는 일반 목적의, 미분 가능한 비선형 프로그래밍 해법기를 개발하는 것.
• 하위 문제의 병렬 처리를 통해 데이터 크기에 비례하여 확장 가능한 매개변수 추정 및 강건한 제어를 가능하게 하는 것.
• 접촉과 마찰을 수반하는 실제 로봇 문제에 대해 제안된 방법의 타당성을 입증하며, 데이터셋 크기에 따른 우수한 확장성 확보

제안 방법

• 하위 문제를 미분 가능한 증강 라그랑주 알고리즘을 사용해 해결하는 이중 최적화 문제를 수립한다.
• 자기 미분에 대한 천연 지원을 최대한 활용하기 위해 하위 문제 해법기를 줄리아로 구현하여 비미분 가능한 연산을 피한다.
• 상위 문제에 대해 SNOPT와 같은 순차적 정수제약 프로그래밍(SQP) 해법기를 사용하여, 비제약 목적함수를 초월한 제약 조건 처리를 가능하게 한다.
• 기울기 계산에 KKT 조건을 의존하지 않고, 해법기의 알고리즘 단계를 직접 자동 미분한다.
• 하위 문제의 실현 가능성이 없는 경우 잔차를 미분 가능한 손실로 간주하여, 최적해에 도달하지 못한 상태에서도 기울기 계산이 가능하도록 한다.
• 하위 문제의 병렬 처리를 통해 각 스레드가 데이터셋 내 하나의 샘플을 처리하도록 하여, 데이터 크기에 비례한 효율적 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 KKT 조건에 의존하지 않는 일반 목적의, 미분 가능한 비선형 프로그래밍 해법기를 개발할 수 있는가?
• RQ2 접촉 역학을 수반하는 매개변수 추정 작업에서 샘플 수가 증가함에 따라 제안된 방법은 어떻게 확장되는가?
• RQ3 최신의 SQP 해법기와 효과적으로 결합할 수 있는 미분 가능한 해법기는 로봇 분야의 제약 조건이 있는 이중 최적화 문제를 해결하는 데 유용한가?
• RQ4 기존의 KKT 기반 접근법과 비교해 비선형 해법기를 통한 자동 미분 사용 시 계산 비용과 확장성 간의 상호 상충 관계는 어떠한가?
• RQ5 실현 가능성이 없는 하위 문제 상태에서도 의미 있는 기울기와 안정적인 최적화를 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 이중 매개변수 추정 방법은 관측되지 않은 접촉력에 대한 결정 변수를 도입하는 전통적 방법보다 데이터셋 크기에 비례해 훨씬 더 우수한 확장성을 보였다.
• 44개 샘플에 대해 이중 방법은 30.7초(스케일된 값 7.7)가 소요되었고, 전통적 방법은 샘플당 24.55초(스케일된 값 246.0)가 소요되어 이중 방법의 우수한 확장성 확인.
• 노이즈가 있는 데이터로 인해 하위 문제의 실현 가능성이 없더라도, 메서드는 잘 정의된 기울기를 생성하여 최적해에 도달하지 않더라도 안정적인 최적화를 가능하게 했다.
• 마찰 계수(μ)를 0.15에서 0.23 사이로 정확하게 추정하였으며, 여러 시뮬레이션 런에 걸쳐 일관된 결과를 도출하였다.
• 미분 가능한 해법기는 접촉이 풍부한 조작 및 강건한 제어와 같은 로봇 응용 분야에서 엔드 투 엔드 최적화를 가능하게 하여 이론적 수식을 넘어서 실용적 유용성을 입증하였다.
• 줄리아로 구현된 해법기는 효율적인 자동 미분를 지원하며, 공개된 저장소(https://github.com/blandry/Bilevel.jl)를 통해 재현성과 확장성이 보장된다.