[논문 리뷰] A Simple Adaptive Step-size Choice for Iterative Optimization Methods

I. V. Konnov|arXiv (Cornell University)|2018. 01. 31.

Matrix Theory and Algorithms참고 문헌 12인용 수 4

한 줄 요약

이 논문은 선형 탐색과 사전 지식(예: 리프시츠 상수)이 필요 없이 반복 최적화 방법에 대한 단순한 적응형 스텝 사이즈 절차를 제안한다. 주어진 스텝 사이즈 수열을 사용하고, 충분한 내림값이 확보되지 않을 경우에만 갱신함으로써, 미세한 경계 조건 하에 비미세 및 비볼록 문제에 대해 수렴성을 보장한다. 계산 실험을 통해 기존 선형 탐색 방법 대비 효율성이 뛰어나다는 것이 확인되었다.

ABSTRACT

We suggest a simple adaptive step-size procedure, which does not require any line-search, for a general class of nonlinear optimization methods and prove convergence of a general method under mild assumptions. In particular, the goal function may be non-smooth and non-convex. Unlike the descent line-search methods, it does not require monotone decrease of the goal function values along the iteration points and reduces the implementation cost of each iteration essentially. The key element of this procedure consists in inserting a majorant step-size sequence such that the next element is taken only if the current iterate does not give a sufficient descent. Its applications yield in particular a new gradient projection method for smooth constrained optimization problems and a new projection type method for minimization of the gap function of a general variational inequality. Preliminary results of computational experiments confirm efficiency of the proposed modification.

연구 동기 및 목표

• 반복 최적화 방법에서 비용이 많이 드는 선형 탐색을 피할 수 있는 스텝 사이즈 선택 전략을 개발하는 것.
• 기울기의 리프시츠 연속성 조건이 필요 없이도 비미세 및 비볼록 최적화 문제에 대해 수렴성을 보장하는 것.
• 보조 최소화 하위 문제를 제거함으로써 반복당 계산 비용을 감소시키는 것.
• 제약 최적화와 변분부등식에 모두 적용 가능한 통합 프레임워크를 제공하는 것.
• 부드럽고 비부드러운 문제에 대한 계산 실험을 통해 방법의 효율성을 검증하는 것.

제안 방법

• 스텝 사이즈 수열이 감소하여 0으로 수렴하는 주어진 수열을 사용하며, 이는 허용 가능한 스텝 사이즈의 상한선으로 기능한다.
• 각 반복에서 현재 반복점이 충분한 내림값을 확보하지 못할 경우에만 다음 스텝 사이즈를 선택한다. 이는 목적 함수를 포함한 내림 조건에 기반한다.
• 적응 규칙은 실제 반복점의 진전에 따라 스텝 사이즈를 동적으로 조정하며, 고정되거나 단조 감소하는 수열을 피한다.
• 일반적인 반복 방법(예: 투영 유형 및 기울기 투영 방법)에 대해 약한 강제성 조건 하에 적용 가능하다.
• 부드럽고 비부드러운 문제 모두에 적용 가능한 일반 수렴 정리에 통합되어 있으며, 갭 함수 최소화를 통한 변분부등식 문제에도 적용 가능하다.
• 기울기 리프시츠 상수나 정확한 선형 탐색이 필요 없으며, 내림 모니터링에 의존한다.

실험 결과

연구 질문

• RQ1 선형 탐색이 필요 없으면서도 비미세 및 비볼록 문제에 대해 수렴성을 보장할 수 있는 스텝 사이즈 규칙을 설계할 수 있는가?
• RQ2 리프시츠 상수와 같은 사전 지식에 의존하지 않고도 적응형 스텝 사이즈 선택을 얼마나 견고하게 만들 수 있는가?
• RQ3 반복 최적화에서 비단조화 목적 함수 값 감소가 수렴성과 효율성에 미치는 영향은 무엇인가?
• RQ4 이 적응 전략은 변분부등식을 포함한 다양한 최적화 문제 유형으로 일반화될 수 있는가?
• RQ5 기본 선형 탐색 기반 접근법과 비교해 볼 때, 제안된 방법은 반복 횟수와 목적 함수 평가 횟수 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 적응형 스텝 사이즈 규칙은 약한 강제성 조건 하에 비미세 및 비볼록 최적화 문제에 대해 수렴성을 보장하며, 기울기 리프시츠 연속성 조건이 필요하지 않다.
• 계산 결과에 따르면 선형 탐색을 제거함으로써 반복당 계산 비용을 크게 감소시켰으며, 선형 탐색 기반 대비 목적 함수 평가 횟수가 적다는 것이 확인되었다.
• 볼록 최적화 실험에서, 제안된 방법(GPMS)은 테스트 케이스 평균적으로 Armijo 기반 방법(GPMA) 대비 목적 함수 평가 횟수를 26%에서 50% 감소시켰다.
• 변분부등식 문제에 대해선, 적응형 방법(GFPMS)이 n=1000일 때 45~97회 목적 함수 평가 내에 수렴했으며, 반복 횟수와 함수 호출 수 모두에서 Armijo 기반 방법(GFPMA)을 능가했다.
• 대규모 문제(n=1000)에서도 강인하고 빠른 수렴을 보였으며, GFPMS는 수렴까지 목적 함수 평가를 단 716회만 수행했다.
• GPMD 변형은 n>5일 경우 매우 느린 수렴을 보였으며, 이는 제안된 적응형 전략이 고정 또는 감소하는 스텝 사이즈 규칙보다 우수함을 시사한다.