[논문 리뷰] ZOOpt/ZOOjl: Toolbox for Derivative-Free Optimization.

Yu-Ren Liu, Yi-Qi Hu외 3명|arXiv (Cornell University)|2018. 01. 03.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

ZOOpt/ZOOjl은 고차원적, 노이즈가 있는, 대규모 머신러닝 문제를 위한 파이썬 및 줄리아 기반 도구상자이다. 비도함수적이고 비연속적인 함수를 다룰 수 있는 효율적이고 사용하기 쉬운 솔버를 제공하여, 복잡한 상황에서의 전역 최적화를 가능하게 한다.

ABSTRACT

Recent advances of derivative-free optimization allow efficient approximating the global optimal solutions of sophisticated functions, such as functions with many local optima, non-differentiable and non-continuous functions. This article describes the ZOOpt (this https URL) toolbox that provides efficient derivative-free solvers and are designed easy to use. ZOOpt provides a Python package for single-thread optimization, and a light-weighted distributed version with the help of the Julia language for Python described functions. ZOOpt toolbox particularly focuses on optimization problems in machine learning, addressing high-dimensional, noisy, and large-scale problems. The toolbox is being maintained toward ready-to-use tool in real-world machine learning tasks.

연구 동기 및 목표

• 머신러닝에서 흔히 발생하는 복잡하고 비도함수적이며 비연속적인 함수 최적화 문제를 해결하기 위해.
• 고차원적 및 대규모 환경에서 비도함수 최적화를 위한 사용하기 쉬우면서도 효율적인 도구를 제공하기 위해.
• 실제 머신러닝 응용 프로그램에 적합한 단일 스레드 및 경량 분산 최적화를 지원하기 위해.
• 연구 및 산업 현장에서 실질적인 구현을 위해 바로 사용할 수 있고, 생산용으로 활용 가능한 도구상자를 유지하기 위해.

제안 방법

• 도구상자는 국소 최적해가 많은 함수, 비도함수성, 불연속성 등에 특화된 비도함수 최적화 솔버를 구현한다.
• 기존 머신러닝 워크플로우에 쉽게 통합할 수 있도록 단일 스레드 최적화를 위한 파이썬 패키지를 제공한다.
• 대규모 문제를 위한 계산을 가속화하기 위해 줄리아 언어를 사용해 경량 분산 버전을 구축한다.
• 실제 적용 가능성을 고려한 사용성과 성능을 중시하는 설계를 한다.
• 평가가 비용이 많이 들거나 도함수 정보가 없는 함수의 최적화를 지원한다.
• 도함수 정보가 필요 없이 전역 최적해를 근사하는 효율적인 비도함수 알고리즘을 활용한다.

실험 결과

연구 질문

• RQ1 고차원적 및 대규모 머신러닝 문제에 대해 비도함수 최적화를 어떻게 효과적으로 확장할 수 있는가?
• RQ2 비도함수성과 노이즈가 있는 최적화 환경에서 비도함수 솔버의 성능은 어떠한가?
• RQ3 단일 스레드 및 분산 환경 모두에서 통합되고 사용하기 쉬운 도구상자를 어떻게 설계할 수 있는가?
• RQ4 비도함수 최적화는 실제 머신러닝 작업에서 실용적으로 얼마나 사용 가능한가?
• RQ5 파이썬과 줄리아의 통합은 최적화에서 성능과 접근성에 어떻게 기여하는가?

주요 결과

• ZOOpt는 복잡하고 비도함수적이며 비연속적인 함수에 적합한 효율적인 비도함수 솔버를 제공한다.
• 도구상자는 머신러닝에서 흔한 고차원적 및 대규모 최적화 문제를 지원한다.
• 파이썬과 줄리아의 통합은 사용 용이성과 성능 확장성 모두를 향상시킨다.
• 경량 분산 버전은 대규모 문제에 대한 계산 효율성을 향상시킨다.
• 도구상자는 지속적으로 유지보수되며, 실제 머신러닝 응용 프로그램에서 바로 사용 가능한 배포를 위한 설계가 되어 있다.
• 도함수 정보가 없어 기울기 기반 방법이 실패하는 상황에서도 전역 최적화를 가능하게 한다.