[논문 리뷰] Guided evolutionary strategies: Augmenting random search with surrogate gradients

Niru Maheswaranathan, Luke Metz외 3명|arXiv (Cornell University)|2018. 06. 26.

Advanced Multi-Objective Optimization Algorithms인용 수 26

한 줄 요약

이 논문은 표면 기울기와 무작위 검색을 조합하여, 표면 기울기로 정의된 저차원 부분공간을 따라 검색 분포를 형상화함으로써 표준 진화 전략과 1차 방법보다 향상된 최적화 성능을 달성하는 가이드드 에볼루셔너리 스트래티지즈(Guided Evolutionary Strategies, Guided ES)를 제안한다. 이는 분석적으로 편향과 분산을 균형 잡음으로써, 전개 최적화, 합성 기울기, 이산 신경망 학습에서 일관된 성능 향상을 보여준다.

ABSTRACT

Many applications in machine learning require optimizing a function whose true gradient is unknown, but where surrogate gradient information (directions that may be correlated with, but not necessarily identical to, the true gradient) is available instead. This arises when an approximate gradient is easier to compute than the full gradient (e.g. in meta-learning or unrolled optimization), or when a true gradient is intractable and is replaced with a surrogate (e.g. in certain reinforcement learning applications, or when using synthetic gradients). We propose Guided Evolutionary Strategies, a method for optimally using surrogate gradient directions along with random search. We define a search distribution for evolutionary strategies that is elongated along a guiding subspace spanned by the surrogate gradients. This allows us to estimate a descent direction which can then be passed to a first-order optimizer. We analytically and numerically characterize the tradeoffs that result from tuning how strongly the search distribution is stretched along the guiding subspace, and we use this to derive a setting of the hyperparameters that works well across problems. Finally, we apply our method to example problems, demonstrating an improvement over both standard evolutionary strategies and first-order methods (that directly follow the surrogate gradient). We provide a demo of Guided ES at https://github.com/brain-research/guided-evolutionary-strategies

연구 동기 및 목표

• 진짜 기울기가 이용 불가능하지만 관련성이 있는 표면 기울기가 가용한 환경에서 최적화 문제를 해결하기 위해.
• 순수한 무작위 검색의 한계(고차원에서의 높은 분산)와 난잡한 1차 방법의 한계(정확하지 않은 기울기에서 발생하는 편향)를 극복하기 위해.
• 표면 기울기 정보를 진화 전략과 최적의 방식으로 융합하는 원칙적인 방법을 개발하기 위해.
• 무작위 검색 내에서 표면 기울기를 사용할 때 내재된 편향-분산 트레이드오프를 분석하고 조정하기 위해.
• 전개 최적화와 이산 변수 학습을 포함한 다양한 머신러닝 응용 분야에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 최근 표면 기울기로 생성된 지도 부분공간을 따라 검색 분포를 연장함으로써, 내림내림 방향 추정의 분산을 감소시킨다.
• 이 방법은 저차원 부분공간 내에서 무작위 변형을 통해 유한차분 추정을 통해 내림내림 방향을 계산한다.
• 이 알고리즘은 편향-분산 트레이드오프의 분석적 특성에서 유도된 바탕으로, 지도 부분공간을 따라 검색 분포의 길이를 적응적으로 조정하여 편향과 분산을 균형 잡는다.
• 최적의 하이퍼파ram터 설정은 문제 전반에 걸쳐 기대 진전을 최대화하기 위해 분석적으로 유도된다.
• 이 방법은 전개 기울기, 합성 기울기, 이산 변수를 포함한 문제들에 적용되며, 여기서 표면 기울기는 편향되거나 노이즈가 있을 수 있다.
• 이 방법은 두 번째 차수 최적화 방법(예: Adam)의 문제를 피하기 위해, 가이드드 ES 업데이트가 진짜 기울기를 양의 준정부행렬로 스케일링하는 것과 동일하다는 점을 인식한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 표면 기울기를 최적의 방식으로 무작위 검색과 융합하여 블랙박스 최적화에서 수렴을 향상시킬 수 있는가?
• RQ2 진화 전략 내에서 표면 기울기를 사용할 때 편향과 분산 사이의 분석적 트레이드오프는 무엇인가?
• RQ3 다양한 문제에서 안정적인 성능을 내기 위해 표면 기울기 부분공간을 따라 지도의 강도를 조정할 수 있는 원칙적인 방법을 유도할 수 있는가?
• RQ4 편향되거나 노이즈가 있는 기울기가 존재하는 환경에서 가이드드 ES는 표준 진화 전략과 1차 방법보다 어떻게 비교되는가?
• RQ5 합성 기울기가 초반에 열악할 경우, 예를 들어 합성 기울기 학습에서 가이드드 ES는 학습을 안정화시킬 수 있는가?

주요 결과

• 편향이 포함된 이차형 테스트 문제에서, 가이드드 ES는 표면 기울기를 사용하는 표준 진화 전략과 1차 방법보다 뛰어난 성능을 보였다.
• 합성 기울기가 초반에 열악한 상황에서도 첫 번째 차수 방법이 발산하거나 멈추는 것과 달리, 가이드드 ES는 일관된 진전을 보였다.
• 전개 최적화에서, 가이드드 ES는 표준 방법 대비 기울기 편향에 의한 학습률 예측 오차를 감소시켰다.
• 학습 도중 합성 기울기와 진짜 기울기 사이의 상관관계는 낮았지만, 가이드드 ES는 여전히 안정적인 진전을 보이며 기울기 품질에 대한 강건성을 입증했다.
• 편향-분산 분석에서 유도된 최적의 하이퍼파ram터 설정은 문제에 따라 개별 조정 없이도 다양한 문제에서 뛰어난 성능을 내었다.
• 이 방법의 업데이트 방향은 진짜 기울기에 양의 준정부행렬을 적용하는 것과 동일하므로, 이와 같은 행렬을 적용하는 최적화 방법(예: Adam)과 함께 사용할 경우 주의가 필요하다.