[논문 리뷰] Design of generalized fractional order gradient descent method

Yiheng Wei, Yü Kang외 2명|arXiv (Cornell University)|2018. 12. 24.

Fractional Differential Equations Solutions참고 문헌 36인용 수 15

한 줄 요약

이 논문은 분수계수 경사하강법에서의 수렴 문제를 해결하기 위해 고정 메모리 단계, 고차수 급수 절단, 가변 분수계수의 세 가지 새로운 해결책을 제안한다. 이는 원래 분수계수 극점으로 수렴하는 대신 진정한 최소값으로 수렴하도록 보장한다. 제안된 방법들은 최적의 해로의 빠르고 안정적인 수렴을 보장하며, 최적화 및 LMS 문제에 대한 광범위한 시뮬레이션을 통해 검증되었다.

ABSTRACT

This paper focuses on the convergence problem of the emerging fractional order gradient descent method, and proposes three solutions to overcome the problem. In fact, the general fractional gradient method cannot converge to the real extreme point of the target function, which critically hampers the application of this method. Because of the long memory characteristics of fractional derivative, fixed memory principle is a prior choice. Apart from the truncation of memory length, two new methods are developed to reach the convergence. The one is the truncation of the infinite series, and the other is the modification of the constant fractional order. Finally, six illustrative examples are performed to illustrate the effectiveness and practicability of proposed methods.

연구 동기 및 목표

• 분수계수 경사 방법이 목표 함수의 진정한 최소값이 아닌 분수계수 극점으로 수렴하는 기본 문제를 해결한다.
• 수렴하지 못하는 근본 원인을 분석하며, 특히 분수도의 비국소성과 장기 기억성의 역할을 규명한다.
• 실시간 온라인 계산을 위한 실용적이고 구현 가능한 분수도 계산 방법을 개발한다.
• 빠른 수렴 속도와 안정성을 유지하면서 실제 최적 해로의 수렴을 보장한다.
• 이론적 호기심을 넘어서 분수미분법을 최적화 알고리즘에 적용하기 위한 이론적 및 실용적 프레임워크를 제공한다.

제안 방법

• 분수도의 무한 기억을 잘라내기 위해 짧은 기억 원리를 적용한 고정 메모리 단계 방법을 도입한다.
• 무한 급수 전개에서 고차수 항을 잘라내어 분수도를 근사하는 고차수 급수 절단 방법을 제안한다.
• 반복 과정 중에 순서를 적응적으로 조정하여 수렴 성능을 향상시키는 가변 분수계수 전략을 설계한다.
• 수치적 안정성을 향리하기 위해 분수도의 캄프로 정의를 사용하여 이러한 방법들을 경사하강 프레임워크에 통합한다.
• 연속 및 이산 설정 모두에 적용하여 LMS 알고리즘과 비선형 최적화에의 응용을 포함한다.
• 수렴 속도와 채터링 감소를 균형 잡기 위해 학습률, 메모리 길이, 순서 조정 등의 파rameter 조정을 실시한다.

실험 결과

연구 질문

• RQ1 왜 분수계수 경사 방법이 함수의 진정한 최소값으로 수렴하지 못하는가?
• RQ2 분수도의 비국소성은 왜 진정한 최소값이 아닌 분수계수 극점으로 수렴하게 하는가?
• RQ3 분수도의 장기 기억 특성을 효과적으로 잘라내거나 수정함으로써 진정한 최소값으로의 수렴을 복원할 수 있는가?
• RQ4 실시간 응용에서 분수도 경사하강법을 구현하기 위한 실용적이고 계산 가능성이 있는 방법은 무엇인가?
• RQ5 가변 분수계수와 급수 절단 방법은 고정 순서 방법에 비해 성능과 안정성에서 어떻게 비교되는가?

주요 결과

• 분수도의 비국소성으로 인해 분수계수 경사 방법은 진정한 최소값이 아닌 분수계수 극점으로 수렴한다.
• 고정 메모리 단계 방법은 과거 영향을 유한한 창으로 제한함으로써 진정한 최소값으로의 수렴을 성공적으로 복원한다.
• 고차수 급수 절단은 기억 절단의 효과적인 대안을 제공하며, 낮은 계산 부담으로도 빠른 수렴을 달성한다.
• 가변 분수계수 방법은 수렴 속도를 향상시키고 채터링을 감소시키기 위해 도함수 순서를 동적으로 조정하여 고정 순서 방법을 능가한다.
• 모든 세 가지 제안된 방법은 비선형 및 비볼록 함수를 포함한 여섯 가지 수치 예제에서 빠른 수렴을 통해 진정한 최적 해에 도달한다.
• LMS 알고리즘 예제에서는 세 방법 모두 높은 속도와 정확도로 필터 가중치를 성공적으로 추정하여 실용적 적용 가능성을 입증한다.