[논문 리뷰] A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning

Sijia Liu, Pin‐Yu Chen외 4명|arXiv (Cornell University)|2020. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 83인용 수 20

한 줄 요약

이 논문은 신호 처리 및 기계 학습 분야에서 제로스토어드(ZO) 최적화에 대한 종합적인 리뷰를 제공하며, 미분을 필요로 하지 않고 함수 평가를 통해 기울기를 추정하는 방법으로 ZO 방법을 제시한다. 이는 기울기 없이도 효율적이고 수렴 성질이 우수하며, 블랙박스 적대적 공격, 모델 해석 가능성, 개인정보 보호 학습 등 다양한 응용 분야에 활용되며, 이론적 진전과 실용적 구현이 함께 이루어진다.

ABSTRACT

Zeroth-order (ZO) optimization is a subset of gradient-free optimization that emerges in many signal processing and machine learning applications. It is used for solving optimization problems similarly to gradient-based methods. However, it does not require the gradient, using only function evaluations. Specifically, ZO optimization iteratively performs three major steps: gradient estimation, descent direction computation, and solution update. In this paper, we provide a comprehensive review of ZO optimization, with an emphasis on showing the underlying intuition, optimization principles and recent advances in convergence analysis. Moreover, we demonstrate promising applications of ZO optimization, such as evaluating robustness and generating explanations from black-box deep learning models, and efficient online sensor management.

연구 동기 및 목표

• 신호 처리 및 기계 학습 응용 분야에서 ZO 최적화 기법을 통합된 관점으로 개괄하는 것.
• 특히 비연속 및 제약 조건이 있는 설정에서 ZO 기울기 추정과 수렴 속도의 이론적 기초를 분석하는 것.
• 기울기가 이용 불가능하거나 계산이 불가능한 블랙박스 환경에서 ZO 최적화의 실용적 유용성을 입증하는 것.
• 개인정보 보호, 이산 최적화, 날카운 수렴 한계 등 ZO 최적화 분야의 열린 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• 기본 도함수 계산 없이 함수 값 쿼리를 이용해 유한차분 기반 기울기 추정을 수행함.
• 비연속 목적 함수를 다루기 위해 퍼티브레이션을 도입하여 부드러움을 향상시키는 랜덤라이즈드 스무딩 및 듀얼 랜덤라이제이션 기법을 활용함.
• 선형 또는 이차 보간을 통해 하위기울기를 근사함으로써 부드러움 가정에 의존도를 줄이는 모델 기반 트러스트 영역 방법을 도입함.
• 장애물 함수와 승수법을 적용하여 블랙박스 제약 조건이 있는 문제로 ZO 최적화를 확장함.
• 고차 도함수 계산(예: 메타학습 등)에서 기울기의 한계를 극복하기 위해 자동 미분과 ZO 기법을 통합함.
• 이완 또는 특화된 알고리즘 설계를 통해 이산 영역에서 직접 ZO 최적화를 수행함으로써 텍스트, 그래프 및 범주형 데이터에 응용 가능하게 함.

실험 결과

연구 질문

• RQ1 기울기 접근이 불가능한 상황에서 ZO 최적화는 어떻게 일阶 최적화 방법과 유사한 수렴 속도를 달성할 수 있는가?
• RQ2 비연속 및 제약 조건이 있는 비볼록 설정에서 ZO 최적화의 이론적 한계는 무엇인가?
• RQ3 분산 및 페더레이티드 학습 환경에서 ZO 방법은 어떻게 개인정보 보호를 유지할 수 있는가?
• RQ4 자연어 처리와 조합 최적화에서 흔한 이산 변수를 다루기 위해 ZO 최적화는 어떻게 확장될 수 있는가?
• RQ5 일般적인 비볼록 최적화 문제에서 ZO 방법의 가장 날카운 가능한 수렴 속도는 무엇인가?

주요 결과

• 기울기가 계산이 어려운 경우에도 ZO 최적화는 일阶 최적화 방법과 유사한 수렴 속도를 달성하여 실용적인 대안이 될 수 있다.
• 랜덤라이즈드 스무딩과 듀얼 랜덤라이제이션은 비연속 목적 함수에 대해 효과적인 기울기 추정을 가능하게 하지만, 함수 쿼리 복잡도가 증가하는 비용을 수반한다.
• 모델 기반 트러스트 영역 방법은 부드러움 조건이 필요 없이 하위기울기를 근사함으로써 유한차분 추정기법에 대한 강력한 대안을 제공한다.
• ZO 기반 적대적 공격은 블랙박스 환경에서 화이트박스 공격만큼 효과적이며, 딥 네URAL 네트워크의 강건성 평가에 활용될 수 있다.
• 함수 값 쿼리만으로 기울기 정보를 은폐함으로써 ZO 최적화는 개인정보 보호 학습을 지원하며, 차별적 프라이버시 원칙과도 부합한다.
• 기울기 계산이 불가능하거나 비용이 많이 드는 환경에서 자동 기계 학습, 메타학습, 온라인 센서 관리 등 다양한 분야에서 ZO 방법이 유망한 성능을 보여주고 있다.