[논문 리뷰] Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions

Florian Meier, Asier Mujika외 2명|arXiv (Cornell University)|2019. 10. 11.

Evolutionary Algorithms and Applications참고 문헌 19인용 수 10

한 줄 요약

이 논문은 진정한 기울기 정보가 제공되지 않는 환경에서 진화 전략(ES)의 기울기 추정을 향상시키기 위한 새로운 방법을 제안한다. 기존의 방법들과 달리, 이는 보조 기울기의 품질에 대한 사전 지식이 필요로 하지 않으며, 항상 더 나은 내림차순 방향을 보장함으로써 추가 계산 비용 없이 기울기 정확도를 크게 향상시킨다. MNIST 및 강화학습 기반 벤치마크에서의 실험 결과에서도 유의미한 성능 향상이 관찰되었다.

ABSTRACT

Evolutionary Strategies (ES) are known to be an effective black-box optimization technique for deep neural networks when the true gradients cannot be computed, such as in Reinforcement Learning. We continue a recent line of research that uses surrogate gradients to improve the gradient estimation of ES. We propose a novel method to optimally incorporate surrogate gradient information. Our approach, unlike previous work, needs no information about the quality of the surrogate gradients and is always guaranteed to find a descent direction that is better than the surrogate gradient. This allows to iteratively use the previous gradient estimate as surrogate gradient for the current search point. We theoretically prove that this yields fast convergence to the true gradient for linear functions and show under simplifying assumptions that it significantly improves gradient estimates for general functions. Finally, we evaluate our approach empirically on MNIST and reinforcement learning tasks and show that it considerably improves the gradient estimation of ES at no extra computational cost.

연구 동기 및 목표

• 진정한 기울기가 제공되지 않는 환경, 특히 강화학습 및 블랙박스 최적화에서 진화 전략(ES)의 기울기 추정을 향상시키는 것.
• 기울기 품질에 대한 사전 지식이 필요로 하며, 보조 기울기 방향보다 향상되지 않을 수 있는 기존의 보조 기울기 방법의 한계를 해결하는 것.
• 과거 업데이트 방향을 반복적으로 사용하여 보조 기울기로 삼아 시간이 지남에 따라 추정 정확도를 향상시키는 방법을 개발하는 것.
• 이 방법이 표준 ES보다 더 빠른 수렴 속도와 더 나은 기울기 정렬을 이끌어내는지 이론적·실험적으로 입증하는 것.
• 실세계 과제, 즉 MNIST 분류 및 로봇 강화학습 환경에서의 방법 검증

제안 방법

• 과거 내림차순 방향과 무작위 변형 방향이 생성하는 부분공간 내에서 진정한 기울기와의 정렬도를 최대화하는 최적의 방향을 계산하는 것.
• 과거 업데이트 방향과 무작위 탐색 방향의 선형 조합을 사용하여, 항상 보조 기울기보다 진정한 기울기와 더 정렬된 기울기 추정기를 구성하는 것.
• 보조 기울기의 품질에 관계없이 강인한 방법으로, 편향되거나 노이즈가 많은 보조 기울기 상황에서도 유용함.
• 최근 기울기 추정 결과를 다음 반복에서 보조 기울기로 반복적으로 활용하여 시간이 지남에 따라 정보를 축적하는 것.
• 표준 ES에 비해 추가 기능 평가가 필요 없어 계산 효율성이 높은 방법.
• Adam과 같은 1차 최적화 방법과 통합되어 딥러닝 및 강화학습 환경에서 적용 가능함.

실험 결과

연구 질문

• RQ1 기존의 보조 기울기 품질에 대한 사전 지식 없이도 과거 내림차순 방향을 사용하여 항상 보조 기울기보다 향상된 기울기 추정기를 구성할 수 있는가?
• RQ2 최근 업데이트 방향을 반복적으로 보조 기울기로 재사용할 경우, 수렴 속도와 추정 정확도에 어떤 영향을 미치는가?
• RQ3 선형성 또는 헤시안 행렬 의존성과 같은 단순화된 가정 하에, 기울기 추정 향상에 대해 이론적으로 어떤 보장을 제공할 수 있는가?
• RQ4 실세계 과제, 예를 들어 MNIST 및 로봇 강화학습 환경에서 제안된 방법이 성능 향상에 얼마나 기여하는가?
• RQ5 고노이즈, 보상이 희박한 강화학습 환경에서, 이 방법은 탐색 동역학과 어떻게 상호작용하는가?

주요 결과

• 제안된 방법은 보조 기울기의 품질에 관계없이 항상 진정한 기울기와 더 잘 정렬된 내림차순 방향을 보장한다.
• 선형 함수의 경우, 이 방법은 진정한 기울기로 신속하게 수렴함을 보여주며, 이론적으로도 빠른 수렴 속도를 입증한다.
• 단순화된 가정 하에, 이 방법은 헤시안에 비례하여 기울기 추정을 향상시키며, 잘 조절된 함수에서 더 강력한 성능을 보임을 나타낸다.
• MNIST 과제에서, 표준 ES 대비 기울기 추정 정확도가 유의미하게 향상되었고, 수렴 속도도 빨라졌다.
• Roboschool 환경에서, InvertedPendulum 과제에서는 표준 ES를 능가했으며, HalfCheetah와 Ant 과제에서는 소규모이지만 일관된 성능 향상이 관찰되었다.
• 강화학습 과제에서는 탐색과의 상호작용로 인해 성능 향상이 제한되어 있어, 향후 연구에서는 이 방법을 전용 탐색 전략과 통합하는 것이 필요할 것으로 보인다.