[논문 리뷰] A Caputo fractional derivative-based algorithm for optimization

Yeonjong Shin, Jérôme Darbon외 1명|arXiv (Cornell University)|2021. 04. 06.

Fractional Differential Equations Solutions참고 문헌 25인용 수 6

한 줄 요약

이 논문은 Caputo 분수계 미분을 활용하여 최적화 성능을 향상시키는 새로운 Caputo 분수계 경사하강법(CFGD) 알고리즘을 제안한다. 특히 조건이 나쁜 문제에 대해 유의미한 성능 향상을 이룬다. 국소적으로 스무딩된 목적함수에서 가장 가파른 경사 하강 방향에 해당하는 분수계 경사도를 정의함으로써, 적응형 종단 CFGD 버전은 수렴 속도를 크게 향상시키며, 특히 적은 구분점 수를 사용할 경우 기존 경사하강법을 능가한다.

ABSTRACT

We propose a novel Caputo fractional derivative-based optimization algorithm. Upon defining the Caputo fractional gradient with respect to the Cartesian coordinate, we present a generic Caputo fractional gradient descent (CFGD) method. We prove that the CFGD yields the steepest descent direction of a locally smoothed objective function. The generic CFGD requires three parameters to be specified, and a choice of the parameters yields a version of CFGD. We propose three versions -- non-adaptive, adaptive terminal and adaptive order. By focusing on quadratic objective functions, we provide a convergence analysis. We prove that the non-adaptive CFGD converges to a Tikhonov regularized solution. For the two adaptive versions, we derive error bounds, which show convergence to integer-order stationary point under some conditions. We derive an explicit formula of CFGD for quadratic functions. We computationally found that the adaptive terminal (AT) CFGD mitigates the dependence on the condition number in the rate of convergence and results in significant acceleration over gradient descent (GD). For non-quadratic functions, we develop an efficient implementation of CFGD using the Gauss-Jacobi quadrature, whose computational cost is approximately proportional to the number of the quadrature points and the cost of GD. Our numerical examples show that AT-CFGD results in acceleration over GD, even when a small number of the Gauss-Jacobi quadrature points (including a single point) is used.

연구 동기 및 목표

• 분수계 경사하강(FGD) 방법에 대한 이론적 이해 부족, 특히 내림내림 방향과 수렴 행동에 관해.
• 정수계의 정류점으로 수렴 보장이 되는, Caputo 분수계 도함수 기반 최적화 알고리즘 개발.
• 조건이 나쁜 최적화 문제에서 수렴 속도가 조건수에 의존하는 것을 완화.
• 비제곱형 목적함수에 대해 Gauss-Jacobi 구분법을 사용하여 효율적이고 확장 가능한 알고리즘 구현.
• 특히 제곱형 목적함수의 맥락에서 다양한 CFGD 변형에 대해 이론적 수렴 보장과 오차 한계 설정.

제안 방법

• Cartesian 좌표에 대한 Caputo 분수계 도함수를 기반으로 하는 일반적인 Caputo 분수계 경사하강(CFGD) 알고리즘을 제안하며, 세 가지 매개변수(순서, 종단점, 초기점)가 필요하다.
• Caputo 분수계 경사도를 목적함수의 국소적 스무딩 버전에서 가장 가파른 경사 하강 방향으로 정의함으로써 내림내림 행동을 보장한다.
• 세 가지 변형을 도입: 비적응형(고정 매개변수), 적응형 종단점(종단점 조정), 적응형 순서(분수계 순서 조정)로, 적응형 종단점 버전이 뛰어난 성능을 보였다.
• 제곱형 목적함수의 경우 Caputo 분수계 경사도에 대한 명시적 닫힌 형태 수식 유도로 이론적 분석 가능.
• 비제곱형 함수의 경우 Gauss-Jacobi 구분법을 사용해 CFGD를 효율적으로 구현하며, 계산 비용은 구분점 수와 표준 경사하강법의 비용에 비례한다.
• 수렴 분석을 위해 재귀적 오차 한계 프레임워크를 활용하여, 적응형 버전이 유계성과 매끄러움 조건 하에서 정수계 정류점으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 Caputo 분수계 경사하강(CFGD)이 따르는 내림내림 방향은 무엇이며, 원래 목적함수와 어떻게 관련이 있는가?
• RQ2 분수계 도함수 매개변수(순서, 종단점, 초기점)의 선택이 최적화에서 수렴과 성능에 미치는 영향는 어떠한가?
• RQ3 적응형 종단점 CFGD 변형은 조건수에 대한 의존도를 줄이고 기존 경사하강법보다 수렴 속도를 빠르게 할 수 있는가?
• RQ4 제곱형 목적함수의 맥락에서 CFGD에 대해 이론적 수렴 보장은 어떻게 확보할 수 있는가?
• RQ5 비제곱형 함수에 대해 최소한의 계산 오버헤드로 CFGD를 어떻게 효율적으로 구현할 수 있는가?

주요 결과

• 일반적인 CFGD 방향은 목적함수의 국소적 스무딩 버전에서 가장 가파른 내림내림 방향에 해당하며, 명확한 기하학적 해석을 제공한다.
• 비적응형 CFGD는 선형 수렴 속도로 Tikhonov 정규화 해에 수렴하며, 이는 정수계 경사하강의 정류점이 아니므로 해에 편향이 있음을 시사한다.
• 적응형 종단점(AT) CFGD는 수렴 속도에서 조건수 의존도를 완화하여 기존 경사하강법보다 뚜렷한 가속 효과를 보였다.
• 제곱형 함수의 경우 Caputo 분수계 경사도의 명시적 공식을 통해 정확한 이론적 분석이 가능했으며, AT-CFGD 변형의 수렴 가속 효과를 확인하였다.
• 비제곱형 문제에서 단일 개의 Gauss-Jacobi 구분점만으로도 AT-CFGD는 기존 경사하강법보다 가속 효과를 달성하였다.
• 적응형 버전의 오차 한계 분석 결과, 헤시안의 유계성과 목적함수의 매끄러움 조건 하에서 정수계 정류점으로 수렴함을 보였다.