[논문 리뷰] Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study

Warren Hare, Majid Jaberipour|arXiv (Cornell University)|2015. 11. 09.

Advanced Optimization Algorithms Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 유도 미분 최적화에서 적응형 보간 전략을 연구하며, Derivative-Free Proximal Point (DFPP) 알고리즘을 사례 연구로 사용한다. 60개의 테스트 문제에서 64개의 적응형 샘플링 전략을 평가한 결과, 모델을 구성하는 데 사용되는 함수 평가 횟수는 성능에 큰 영향을 미치며, 높은 차원에서는 적응형 전략이 성능 향상을 가져오지만, 설계가 잘못된 경우 성능 저하가 발생할 수 있음을 확인하였다.

ABSTRACT

Derivative-Free optimization (DFO) focuses on designing methods to solve optimization problems without the analytical knowledge of gradients of the objective function. There are two main families of DFO methods: model-based methods and direct search methods. In model-based DFO methods, a model of the objective function is constructed using only objective function values, and the model is used to guide the computation of the next iterate. Natural questions in this class of algorithms include how many function evaluations should be used to construct the model? And, should this number be fixed, or adaptively selected by the algorithm? In this paper, we numerically examine these questions, using Hare and Lucet's Derivative-Free Proximal Point (DFPP) algorithm [Hare, Lucet, 2014] as a case study. Results suggest that the number of function evaluations used to construct the model has a huge impact on algorithm performance, and adaptive strategies can both improve and hinder algorithm performance.

연구 동기 및 목표

• 유도 미분 최적화에서 보간 모델을 구성하는 데 사용되는 함수 평가 횟수가 성능에 미치는 영향을 조사하는 것.
• 함수 호출 수준에서 고정 또는 적응형 샘플링 전략 중 어느 것이 더 나은 수렴 속도를 제공하는지 평가하는 것.
• 선형, 이차, 최소 프로베니우스 노름 보간의 모델 복잡도가 알고리즘 효율성에 미치는 영향을 평가하는 것.
• DFPP 알고리즘 프레임워크 내에서 적응형 전략이 정적 전략을 능가할 수 있는지 확인하는 것.
• 모델 기반 DFO 방법에서 모델 정확도와 계산 비용 간의 상호 트레이드오프에 대한 경험적 증거를 제공하는 것.

제안 방법

• 연구는 보간 전략을 평가하기 위한 벤치마크로 Derivative-Free Proximal Point (DFPP) 알고리즘을 사용한다.
• 64개의 적응형 전략을 구현하였으며, 이는 이전 반복 성능에 따라 보간 집합의 크기를 조정하는 방식이다.
• 세 가지 보간 모델을 평가하였다: 선형 (n+1개 점), 이차 ((n+1)(n+2)/2개 점), 최소 프로베니우스 노름 (중간 크기).
• 수렴 속도와 강건성에 미치는 영향을 평가하기 위해 선색색 검색을 사용하거나 사용하지 않은 상태에서 알고리즘을 테스트하였다.
• 60개의 테스트 문제에서 성능을 비교하기 위해 허용오차 10⁻³과 10⁻⁶를 사용하여 데이터 프로파일을 생성하였다.
• 함수 호출 수를 기준으로 성능를 측정하였으며, 결과는 집계되고 시각화되어 속도와 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 보간 모델을 구성하는 데 사용되는 함수 평가 횟수가 DFPP 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 보간 집합 크기 선택을 위한 적응형 전략이 고정 크기 전략보다 성능 향상에 기여할 수 있는가?
• RQ3 선색색 검색이 유도 미분 최적화에서 적응형 보간 전략의 성능에 뚜렷한 영향을 미치는가?
• RQ4 특정 문제 차원 또는 특성에서는 적응형 전략이 정적 전략을 능가하는가?
• RQ5 선형, 이차, 최소 프로베니우스 노름 보간 모델 간의 수렴 속도와 강건성은 어떻게 비교되는가?

주요 결과

• 모델를 구성하는 데 사용되는 함수 평가 횟수는 알고리즘 성능에 큰 영향을 미치며, 과소 또는 과도한 파rameter화 모두 비효율을 초래한다.
• 적응형 전략은 높은 차원에서 수렴을 향상시킬 수 있지만, 설계가 잘못된 적응형 규칙은 성능을 심각하게 악화시킬 수 있다.
• 초기 집합에 Sₙ을, 다음 집합에 S₂ₙ을 사용하는 전략 (Nₛ=Sₙ, Nₙ₁=Sₙ, Nₙ₂=S₂ₙ)은 10⁻³ 허용오차에서 다른 선색색 검색 없음 전략보다 뛰어난 성능을 보였다.
• 더 엄격한 허용오차 10⁻⁶에서, Nₛ=Sₙ, Nₙ₁=S₂ₙ, Nₙ₂=Sₙ 전략이 선색색 검색 없음 전략 중에서 가장 우수한 성능을 보였다.
• 선색색 검색은 모든 전략에서 일관되게 성능을 향상시켰으며, 선색색 검색을 사용할 경우 Sₙ만 사용하는 전략 (Nₛ=Nₙ₁=Nₙ₂=Sₙ)이 모든 전략 중에서 가장 뛰어난 성능을 보였다.
• 더 적은 함수 평가 횟수를 요구하는 간단한 모델(예: 선형 보간)이 더 복잡한 모델보다 일반적으로 뛰어난 성능을 보였으며, 이는 모델 정확도와 계산 비용 사이의 상호 트레이드오프를 시사한다.