[논문 리뷰] Turnpike in Lipschitz-nonlinear optimal control

Carlos Esteve, Borjan Geshkovski외 2명|arXiv (Cornell University)|2020. 11. 22.

Model Reduction and Neural Networks참고 문헌 44인용 수 4

한 줄 요약

이 논문은 전역 리프시츠(가능성 있는 비가속성) 비선형성을 가진 비선형 최적 제어 문제에 대한 전도성 성질의 새로운 증명을 제시한다. 제어 가능성 기반의 준-전도성 제어를 구성하고 부스팅(bootstrap) 추론을 사용한다. 이 방법은 선형화, 초기 데이터 또는 목표의 크기 제약, 비선형성의 매끄러움 조건 없이 지수적 전도성 추정을 확립하며, 유한차원 및 무한차원 시스템(예: ResNets와 파동 및 열 방정식 등 반선형 PDE 포함)에 적용 가능하다.

ABSTRACT

We present a new proof of the turnpike property for nonlinear optimal control problems, when the running target is a steady control-state pair of the underlying system. Our strategy combines the construction of quasi-turnpike controls via controllability, and a bootstrap argument, and does not rely on analyzing the optimality system or linearization techniques. This in turn allows us to address several optimal control problems for finite-dimensional, control-affine systems with globally Lipschitz (possibly nonsmooth) nonlinearities, without any smallness conditions on the initial data or the running target. These results are motivated by applications in machine learning through deep residual neural networks, which may be fit within our setting. We show that our methodology is applicable to controlled PDEs as well, such as the semilinear wave and heat equation with a globally Lipschitz nonlinearity, once again without any smallness assumptions.

연구 동기 및 목표

• 전역 리프시츠(가능성 있는 비가속성) 비선형성을 가진 비선형 최적 제어 문제에 대해 초기 데이터 또는 목표가 큰 경우에도 전도성 결과가 부족한 점을 보완한다.
• 포트리아긴의 최대원리나 선형화에 의존하는 전통적 방법의 한계를 극복한다. 이러한 방법은 매끄러움 조건과 크기 제약 조건을 필요로 한다.
• 유한차원 제어-아핀 시스템과 무한차원 PDE(예: 반선형 파동 및 열 방정식)에 모두 적용 가능한 일반적 프레임워크를 개발한다.
• 기계학습 맥락에서 전도성 분석을 가능하게 하며, 특히 비가속성인 활성화 함수(예: ReLU)를 자주 사용하는 깊은 잔여망(ResNets)에 적용한다.
• 시간 영역에 대해 균일하게 전도성 성질이 유지되도록 하기 위한 최소한의 구조적 가정(예: 제어-아핀, 전역 리프시츠)을 규명한다.

제안 방법

• 유한 시간 내에 시스템을 정적 목표로 이동시킬 수 있도록 제어 가능성 원리를 활용해 준-전도성 제어를 구성한다.
• 시스템의 리프시츠 연속성에 기반해, 궤도가 전도성에 얼마나 가까운지를 반복적으로 향상시키는 부스팅 추론을 적용한다.
• 최적성 시스템 분석이나 동역학의 선형화를 피함으로써, 미분 가능성 또는 크기 제약 조건이 필요 없도록 한다.
• 에너지 추정과 그론발 유사 부등식을 사용해 상태가 목표에서 벗어나지 않도록 제어하며, 비선형성의 전역 리프시츠 성질에 의존한다.
• 장기간의 시간 영역 동안 제어 및 상태 궤도에 대한 균일한 경계를 확립하여 전도성으로의 지수 수렴을 보장한다.
• 반선형 파동 및 열 방정식 등 PDE에 적용하기 위해, 군 이론, 파oincaré 및 코시-슈바르츠 부등식, 변분 형식을 조합하여 안정성 추정을 유도한다.

실험 결과

연구 질문

• RQ1 초기 데이터 또는 주행 목표에 대해 크기 제약 조건 없이, 전역 리프시츠(가능성 있는 비가속성) 비선형성을 가진 비선형 최적 제어 문제에 대해 전도성 성질을 확립할 수 있는가?
• RQ2 최적성 시스템 분석이나 선형화 없이도 지수적 전도성 추정을 증명할 수 있는가?
• RQ3 제안된 방법은 리프시츠 비선형성을 가진 반선형 파동 및 열 방정식과 같은 무한차원 시스템으로 확장 가능한가?
• RQ4 이 프레임워크는 일반적으로 ReLU나 시그모이드 함수를 사용하는 기계학습 모델(예: ResNets)에 적용 가능한가? 특히 이들 함수는 특정 점에서 미분 가능하지 않다.
• RQ5 시간 영역에 대해 균일하게 전도성 성질이 유지되도록 하기 위한 최소한의 구조적 가정(예: 제어-아핀, 전역 리프시츠)은 무엇인가?

주요 결과

• 유한차원 제어-아핀 시스템에서 전역 리프시츠 비선형성을 가진 경우, 비선형성이 $C^1$가 아니더라도 초기 데이터나 목표에 대한 크기 제약 없이 전도성 성질이 성립한다.
• 반선형 열 방정식 및 파동 방정식에 대해 전역 리프시츠 비선형성을 가진 경우, 초기 데이터나 목표의 편차가 크지 않아도 전도성 성질이 성립한다.
• 이 방법은 유한 시간 내에 시스템을 목표로 이동시키고, 대부분의 시간 영역 동안 전도성에 가까이 유지하는 제어를 구성하며, 지수 수렴 속도를 보장한다.
• 선형화나 최적성 시스템 분석을 피하고 제어 가능성과 부스팅 추론에 기반하므로, 비가속성 동역학에 대해 강건하다.
• 이 프레임워크는 깊은 잔여망(ResNets)에 직접 적용 가능하며, 활성화 함수로 일반적으로 사용되는 ReLU나 시그모이드 함수를 고려할 때, 최적 제어가 대부분의 시간 간격 동안 정적 해에 가까이 유지됨을 보여준다.
• 삼차 열 방정식으로의 직접 확장에 실패하는 이유는 $u_T$에 대한 균일한 $L^2$ 제어 노름 경계가 없기 때문이다. 그러나 이러한 경계가 확보될 수 있다면 가능성은 열려 있다.