[논문 리뷰] Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions

Orlando Romero, Mouhacine Benosman|arXiv (Cornell University)|2019. 12. 18.

Advanced Optimization Algorithms Research참고 문헌 30인용 수 6

한 줄 요약

이 논문은 미분 포함(differential inclusions)과 라플라스 기반 분석을 사용하여 비용 함수의 엄밀한 국소 최솟값으로 유한 시간 내 수렴하는 이질적인 연속 시간 최적화 알고리즘을 제안한다. 유한 시간 안정성 이론을 미분 포함으로 확장함으로써, 사전에 정해진 확보 가능한 정착 시간 내에 수렴을 보장하는 이차 동적 시스템을 설계하였으며, 정확한 정착 시간 경계를 갖는 로젠브록 함수에서 검증되었다.

ABSTRACT

In this paper, we propose two discontinuous dynamical systems in continuous time with guaranteed prescribed finite-time local convergence to strict local minima of a given cost function. Our approach consists of exploiting a Lyapunov-based differential inequality for differential inclusions, which leads to finite-time stability and thus finite-time convergence with a provable bound on the settling time. In particular, for exact solutions to the aforementioned differential inequality, the settling-time bound is also exact, thus achieving prescribed finite-time convergence. We thus construct a class of discontinuous dynamical systems, of second order with respect to the cost function, that serve as continuous-time optimization algorithms with finite-time convergence and prescribed convergence time. Finally, we illustrate our results on the Rosenbrock function.

연구 동기 및 목표

• 지속적으로 수렴하는 것이 아니라 유한 시간 내에 국소 최솟값으로 수렴하는 연속 시간 최적화 알고리즘을 개발하기 위해.
• 일반 미분 방정식에서의 유한 시간 안정성 이론을 이질적, 비연속 시스템을 다룰 수 있도록 미분 포함으로 확장하기 위해.
• 라플라스 기반 미분 부등식을 사용하여 사전에 정해진 유한 시간 수렴을 보장하는 이차 동적 시스템을 구성하기 위해.
• 국소 최솟값으로의 정착 시간에 대해 확보 가능한 상한과 정확한 경계를 제공하기 위해.
• 비볼록 최적화 문제의 기준 테스트 사례인 로젠브록 함수에서 접근 방식을 검증하기 위해.

제안 방법

• 미분 포함의 맥락에서 유한 시간 안정성에 대한 라플라스 기반 미분 부등식 조건을 활용한다.
• 기울기 및 정규화된 기울기 흐름에서 유도된 두 종류의 이질적 이차 동적 시스템을 제안한다.
• 수렴 행동 분석을 위해 후보 라플라스 함수 $ V(x) = \|\nabla f(x)\|^2 $ 또는 $ V(x) = \|\nabla f(x)\|_1 $ 를 사용한다.
• 벡터장의 이질성 처리를 위해 필리포프 해 개념을 적용하여 잘 정의된 궤적을 보장한다.
• 라플라스 함수의 도함수에 대한 상한을 유도하여 궤적을 따라 0으로의 유한 시간 감쇠를 보장한다.
• 정착 시간이 확보 가능한 경계를 갖는 것으로 입증되었으며, 정확한 조건 하에서는 정확한 값으로 만들 수 있어 사전에 정해진 유한 시간 수렴이 가능하다.

실험 결과

연구 질문

• RQ1 미분 포함을 사용한 연속 시간 최적화 알고리즘에서 유한 시간 수렴을 보장할 수 있는가?
• RQ2 라플라스 기반 분석을 어떻게 확장하여 이질적, 비립시츠 동적 시스템을 최적화에 적용할 수 있는가?
• RQ3 어떤 이차 동적 시스템의 클래스가 사전에 정해진 유한 시간 수렴을 보장하면서 엄밀한 국소 최솟값으로 수렴하는가?
• RQ4 정착 시간을 단지 경계로만 둔 것이 아니라 정확하게 사전에 정해진 값으로 만들 수 있는가?
• RQ5 제안된 알고리즘은 로젠브록 함수와 같은 비볼록이고 도전적인 최적화 문제에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 동적 시스템은 비용 함수의 엄밀한 국소 최솟값으로 유한 시간 수렴을 달성하며, 정착 시간에 대한 확보 가능한 상한이 있다.
• 라플라스 미분 부등식의 정확한 해가 존재할 경우, 정착 시간 경계는 정확해지며, 사전에 정해진 유한 시간 수렴이 가능해진다.
• 이론은 비연속적, 비립시츠 벡터장에 대해 미분 포함을 통해 적용되며, 전통적인 ODE 기반 접근을 확장한다.
• 국소 최솟값 근처에서 비용 함수의 국소 강력 볼록성 등의 약한 가정 하에서도 수렴이 보장된다.
• 라플라스 함수 $ V(x) = \|\nabla f(x)\|^2 $ 및 $ V(x) = \|\nabla f(x)\|_1 $ 모두에 대해 유한 시간 안정성이 확인되었으며, $ \dot{V} \leq -c V^{\alpha} $ (여기서 $ \alpha < 1 $) 를 만족한다.
• 이 접근은 로젠브록 함수에서 검증되었으며, 예측된 정착 시간 경계 내에서 유한 시간 수렴이 이루어지는 것으로 확인되었다.