[논문 리뷰] AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient

Hoang Tran, Guannan Zhang|arXiv (Cornell University)|2020. 11. 03.

Image Enhancement Techniques참고 문헌 35인용 수 7

한 줄 요약

AdaDGS는 전통적인 국소 기울기를 비국소 방향성 가우시안 스무딩(DGS) 기울기로 대체하는 적응형 블랙박스 최적화 방법을 제안한다. 백트랙킹 선 탐색을 통해 단계 크기를 자동으로 결정하고 스무딩 반경을 적응적으로 업데이트함으로써 수동 하이퍼파라미터 튜닝이 필요 없으며, 다중 모달성, 고차원 문제에서 뛰어난 성능을 발휘한다. 이는 벤치마크 함수, 공기역학 설계, 슈퍼 마리오 레벨 생성을 포함한 문제들에서 성과를 보였다.

ABSTRACT

The local gradient points to the direction of the steepest slope in an infinitesimal neighborhood. An optimizer guided by the local gradient is often trapped in local optima when the loss landscape is multi-modal. A directional Gaussian smoothing (DGS) approach was recently proposed in (Zhang et al., 2020) and used to define a truly nonlocal gradient, referred to as the DGS gradient, for high-dimensional black-box optimization. Promising results show that replacing the traditional local gradient with the DGS gradient can significantly improve the performance of gradient-based methods in optimizing highly multi-modal loss functions. However, the optimal performance of the DGS gradient may rely on fine tuning of two important hyper-parameters, i.e., the smoothing radius and the learning rate. In this paper, we present a simple, yet ingenious and efficient adaptive approach for optimization with the DGS gradient, which removes the need of hyper-parameter fine tuning. Since the DGS gradient generally points to a good search direction, we perform a line search along the DGS direction to determine the step size at each iteration. The learned step size in turn will inform us of the scale of function landscape in the surrounding area, based on which we adjust the smoothing radius accordingly for the next iteration. We present experimental results on high-dimensional benchmark functions, an airfoil design problem and a game content generation problem. The AdaDGS method has shown superior performance over several the state-of-the-art black-box optimization methods.

연구 동기 및 목표

• 비국소 DGS 기울기 기반 최적화에서 하이퍼파라미터 민감성 문제를 해결함. 특히 스무딩 반경과 학습률의 미세 조정이 필요한 점을 해결한다.
• 국소 기울기가 局부 최적점에 갇히는 경향이 있는 다중 모달성, 고차원 손실 곡면에서의 글로벌 최적화 성능을 향상시킨다.
• 선 탐색에서 얻은 단계 크기를 기반으로 스무딩 반경을 동적으로 조정하는 적응 메커니즘을 개발하여 수동 튜닝에 대한 의존도를 줄인다.
• 합성 벤치마크, 공학 설계, 프로시저럴 콘텐츠 생성을 포함한 다양한 고차원 블랙박스 최적화 과제에서 AdaDGS의 효과성을 입증한다.
• 강화 학습, 신경망 아키텍처 탐색, 생성 모델 최적화와 같이 기울기 정보가 이용 불가능하거나 오류가 발생할 수 있는 환경에서도 강력하고 효율적인 최적화를 가능하게 한다.

제안 방법

• 비국소 DGS 기울기를 탐색 방향으로 채택하여, 수직 방향으로 확장된 이웃 영역의 함수 값 통합을 통해 국소 기울기보다 더 정보가 풍부하고 글로벌 인식 능력을 갖춘 방향을 제공한다.
• 각 반복에서 DGS 방향을 따라 백트랙킹 선 탐색을 수행하여 최적의 단계 크기를 결정함으로써, 노이즈가 많거나 변동성이 큰 곡면에 대한 강건성을 향상시킨다.
• 학습된 단계 크기를 손실 함수의 국소 척도 추정치로 활용하여, 다음 반복에서 스무딩 반경을 적응적으로 업데이트할 근거를 제공한다.
• 고정된 초기 스무딩 반경을 유지하고, 선 탐색 결과에 기반한 곱셈형 업데이트 규칙을 사용해 반경을 동적으로 조정함으로써, 관련된 글로벌 구조를 잘 포착하도록 보장한다.
• 적응형 반경 업데이트를 표준 기울기 기반 최적화 루프에 통합하여, 일阶 방법의 효율성과 수렴 성질을 유지한다.
• DGS 기울기의 방향 도함수 계산에 가우스-에르미트 적분을 사용하여, 매 차원당 고정된 수의 함수 평가로 정확하고 안정적인 추정을 보장한다.

실험 결과

연구 질문

• RQ1 DGS 기반 최적화에서 스무딩 반경과 학습률의 수동 튜닝이 필요 없도록 하는 적응 메커니즘을 설계할 수 있는가?
• RQ2 DGS 기울기 방향을 따라 선 탐색을 수행할 경우, 고정 단계 크기 방법에 비해 다중 모달 곡면에서 더 나은 수렴과 글로벌 탐색 성능을 보일 수 있는가?
• RQ3 선 탐색 결과에 기반한 스무딩 반경의 적응적 조정이 고차원 블랙박스 문제에서 최적화 성능을 어떻게 향상시키는가?
• RQ4 AdaDGS는 슈퍼 마리오 레벨 생성과 같은 복잡한 고차원 과제에서 IPop-CMA 및 진화 전략과 같은 최첨단 블랙박스 최적화 방법을 능가할 수 있는가?
• RQ5 자원 제약 조건 하에서 DGS에 적응형 반경과 선 탐색을 적용할 경우, 샘플링 효율성과 최적화 품질 사이의 상충 관계는 어떠한가?

주요 결과

• AdaDGS는 슈퍼 마리오 브라더스 레벨 생성에서 하늘 타일 수, 적군 수, 죽인 적 수를 최대화하는 고차원 최적화 과제 4개 중 3개에서 IPop-CMA를 뛰어넘는 성능을 보였다.
• MaxSkyTiles 목표에서 AdaDGS는 88%의 시도에서 목표로 한 고산 타일 패턴을 생성했고, IPop-CMA는 74%였으며, 이는 더 뛰어난 글로벌 수렴성과 국소 최저점에 갇히는 현상 감소를 보여준다.
• AdaDGS는 IPop-CMA보다 최적 레벨 패턴 생성 확률이 4% 높아, 더 나은 탐색 능력과 열악한 국소 최저점 탈출 능력을 보였다.
• 선 탐색 결과를 기반으로 한 적응형 반경 업데이트로 더 안정적이고 효과적인 탐색 방향을 확보하여, 초기 파rameter 설정에 대한 민감도가 감소했다.
• 가우스-에르미트 적분으로 인해 반복당 함수 평가 수가 많아졌음에도 불구하고, AdaDGS는 더 빠른 수렴과 더 나은 최종 해를 달성하여, 최적화 품질 측면에서 샘플링 비용을 정당화했다.
• 합성 고차원 함수, 공기역학 설계, 프로시저럴 게임 레벨 생성을 포함한 다양한 벤치마크에서 일관된 성능을 보이며, 강건성과 일반화 능력이 입증되었다.