[논문 리뷰] Learning to Learn by Zeroth-Order Oracle

Yangjun Ruan, Yuanhao Xiong외 3명|arXiv (Cornell University)|2020. 04. 30.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 4

한 줄 요약

이 논문은 기울기가 가용하지 않은 제로스터드(Zeroth-Order, ZO) 환경에서 기울기를 ZO 추정기로 근사하고 동적 샘플링 방향을 동적으로 안내하는 순환신경망(Recurrent Neural Network, RNN)을 사용하여 학습하는 최적화 프레임워크를 제안한다. 이 방법은 블랙박스 적대적 공격을 포함한 ZO 작업에서 수작업 설계된 알고리즘보다 수렴 속도와 해의 품질 면에서 뛰어나다.

ABSTRACT

In the learning to learn (L2L) framework, we cast the design of optimization algorithms as a machine learning problem and use deep neural networks to learn the update rules. In this paper, we extend the L2L framework to zeroth-order (ZO) optimization setting, where no explicit gradient information is available. Our learned optimizer, modeled as recurrent neural network (RNN), first approximates gradient by ZO gradient estimator and then produces parameter update utilizing the knowledge of previous iterations. To reduce high variance effect due to ZO gradient estimator, we further introduce another RNN to learn the Gaussian sampling rule and dynamically guide the query direction sampling. Our learned optimizer outperforms hand-designed algorithms in terms of convergence rate and final solution on both synthetic and practical ZO optimization tasks (in particular, the black-box adversarial attack task, which is one of the most widely used tasks of ZO optimization). We finally conduct extensive analytical experiments to demonstrate the effectiveness of our proposed optimizer.

연구 동기 및 목표

• 기울기가 제공되지 않는 제로스터드 설정에서 최적화 알고리즘을 학습하는 데 도전하는 것.
• 학습된 적응형 업데이트 규칙을 통해 ZO 최적화에서 수렴성과 해의 품질을 향상시키는 것.
• 학습된 샘플링 전략을 통해 ZO 기울기 추정기의 높은 분산을 줄이는 것.
• 수작업 최적화 알고리즘의 학습-학습 프레임워크를 블랙박스 최적화 시나리오, 예를 들어 적대적 공격에까지 확장하는 것.

제안 방법

• 주요 RNN은 ZO 기울기 추정기를 서로서구 기울기로 사용하여 매개변수 업데이트 규칙을 학습한다.
• ZO 기울기 추정기는 무작위 편향을 사용한 유한 차분을 통해 기울기를 근사한다.
• 보조 RNN을 도입하여 쿼리 방향을 위한 가우시안 샘플링 규칙을 학습하고 적응적으로 조정함으로써 분산을 줄인다.
• 두 RNN을 함께 훈련시켜 업데이트 정확도와 수렴 안정성을 향상시킨다.
• 프레임워크는 블랙박스 적대적 공격를 포함한 ZO 최적화 작업에 종단 간(end-to-end)으로 적용된다.
• 이전 반복의 메모리를 활용하여 현재 업데이트를 안내함으로써 시간적 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 ZO 기울기를 기반으로 한 학습된 최적화기는 수작업 설계된 알고리즘보다 수렴성과 해의 품질 면에서 뛰어나게 작동할 수 있는가?
• RQ2 제안된 방법은 ZO 기울기 추정의 분산을 얼마나 효과적으로 줄이는가?
• RQ3 학습된 샘플링 전략은 적대적 공격와 같은 블랙박스 최적화 작업에서 성능 향상에 기여하는가?
• RQ4 RNN 기반 최적화기는 다양한 ZO 최적화 작업에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 최적화기는 합성 및 실제 ZO 작업에서 기존의 표준 ZO 알고리즘보다 더 빠른 수렴 속도를 달성한다.
• 이 방법은 특히 블랙박스 적대적 공격 시나리오에서 뛰어난 최종 해의 품질을 확보한다.
• 학습된 샘플링 규칙은 ZO 기울기 추정의 분산을 크게 줄여 학습 안정성을 향상시킨다.
• 첫 번째 RNN이 업데이트 규칙 학습, 두 번째 RNN이 샘플링 안내를 담당하는 이중 RNN의 공동 사용은 더 강건한 최적화 성능을 이끈다.