[논문 리뷰] Black-box optimization on Hyper-rectangle using Recursive Modified Pattern Search and Application to Matrix Completion Problem with Non-convex Regularization

Priyam Das|arXiv (Cornell University)|2016. 04. 28.

Advanced Optimization Algorithms Research인용 수 3

한 줄 요약

이 논문은 초직사각형 영역에서의 병렬, 패턴 검색 기반 블랙박스 최적화 알고리즘을 제안하며, 좌표별 스텝 사이즈 적응과 반복당 2n개 방향 평가를 통해 수렴 속도를 향상시킵니다. 기준 함수에서 GA 및 SA보다 계산 시간이 빠르며, 비볼록 정규화를 갖는 효율적인 GPU 가속 행렬 완성도 가능하게 합니다.

ABSTRACT

In this paper, a pattern search based optimization technique is developed to optimize any black-box function on a hyper-rectangle. This algorithm consists of a series of `runs' and inside each `run' iterations are performed until a convergence criteria is satisfied following the principle which is similar to that of Generalized Pattern Search. During an iteration, jumps are made along the co-ordinates of the parameter one at a time with varying step-sizes within the restricted parameter space to search for the best direction to move. While solving a problem on $n$-dimensional hyper-rectangle, inside each iteration the objective function is evaluated at $2n$ independent directions. Hereby parallel computing can be easily incorporated using up to $2n$ (i.e., in the order of $n$) threads which is very convenient for GPU computing. Unlike other existing black-box optimization techniques (e.g., Genetic Algorithm (GA), Simulated Annealing (SA)), the prior knowledge of convexity about the objective function can be exploited and in that case it can be solved in lesser time. The comparative study of the performances of the proposed algorithm, GA and SA have been provided for several low-dimensional, a few moderate and high-dimensional benchmark functions with corresponding computation times. Simulation study has also been performed for moderate and high-dimensional cases where the solution is a boundary point in the domain. This black-box optimization technique has been used to solve matrix completion problem with non-convex regularization incorporating parallel computing.

연구 동기 및 목표

• n차원 초직사각형 영역에서 정의된 함수를 위한 확장 가능하고 병렬 처리가 가능한 블랙박스 최적화 방법을 개발하는 것.
• 가능한 경우 볼록성에 대한 사전 지식을 활용하여 수렴 속도를 향상시키는 것.
• 반복당 최대 2n개의 평행 평가를 지원함으로써 효율적인 GPU 계산을 가능하게 하는 것.
• 도함수 기반 접근법 없이 비볼록 정규화를 갖는 고차원 행렬 완성 문제를 해결하는 것.
• 저차원, 중간차원, 고차원 기준 함수에서 GA 및 SA와의 성능 비교를 수행하는 것.

제안 방법

• 알고리즘은 반복적인 좌표별 탐색을 수행하는 '런'의 시리즈를 수행하며, 각 런 동안 파라미터 범위 내에서 적응형 스텝 사이즈를 사용합니다.
• 각 반복에서 목적 함수가 2n개의 독립된 방향(각 좌표 축의 양, 음 방향)에서 평가됩니다.
• 해당 방법은 일반화된 패턴 검색과 유사한 재귀적 수정된 패턴 검색 전략을 사용하여 탐색 방향 선택을 이끌어냅니다.
• 최대 2n개의 스레드를 통해 병렬 처리가 원천적으로 지원되어 효율적인 GPU 구현이 가능합니다.
• 함수 평가 결과에 기반해 스텝 사이즈를 동적으로 조정함으로써 수렴 성능을 향상시킵니다.
• 목적 함수를 블랙박스 함수로 간주함으로써 비볼록 정규화를 갖는 행렬 완성에 잘 통합됩니다.

실험 결과

연구 질문

• RQ1 제안된 패턴 검색 알고리즘이 표준 기준 함수에서 GA 및 SA와 비교해 수렴 속도와 정확도 면에서 어떻게 성능을 내는가?
• RQ2 반복당 2n개 평가를 통한 병렬 처리가 GPU 아키텍처에서 계산 효율성을 얼마나 향상시키는가?
• RQ3 중간 및 고차원 최적화 문제에서 경계 해를 효율적으로 탐색할 수 있는가?
• RQ4 목적 함수가 블랙박스일 경우 비볼록 정규화를 갖는 행렬 완성 문제를 해결하는 데에 이 방법이 얼마나 효과적인가?
• RQ5 사전에 볼록성이 알려져 있을 경우, 제안된 프레임워크에서 계산 시간을 크게 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 테스트 기준 함수에서 GA 및 SA보다 더 빠른 수렴 속도를 확보하며, 계산 시간이 크게 단축됩니다.
• 반복당 2n개의 평행 평가를 내재적으로 지원함으로써 고차원 문제에서 뛰어난 확장성을 보입니다.
• 최적 해가 영역의 경계에 위치하는 문제에서는 알고리즘이 높은 정확도로 해를 성공적으로 탐색합니다.
• 비볼록 정규화를 갖는 행렬 완성에 이 방법을 통합한 결과, 시뮬레이션을 통해 경쟁 가능한 성능을 확보했습니다.
• 볼록성이 사전에 알려져 있을 경우, 비볼록 케이스보다 반복 횟수와 소요 시간이 적게 걸립니다.
• 정규적이고 데이터 병렬 평가 패턴을 갖기 때문에 GPU 가속 환경에서 뚜렷한 이점을 보입니다.