[논문 리뷰] Variational Adaptive-Newton Method for Explorative Learning

Mohammad Emtiyaz Khan, Lin Wu외 3명|arXiv (Cornell University)|2017. 11. 15.

Evolutionary Algorithms and Applications참고 문헌 30인용 수 7

한 줄 요약

이 논문은 베이지안 탐색과 효율적인 두 번째 차수 최적화를 통합하는 블랙박스 최적화 기법인 변분 적응 뉴턴(VAN) 방법을 제안한다. 변분 추론을 통해 매개변수에 대한 사후분포를 근사하고, 적응형 헤시안 추정과 함께 미러 강하법을 적용함으로써, 강화학습 및 활성 학습과 같은 과제에서 계산적으로 효율적인 탐색을 가능하게 한다. 이는 기존 방법들에 비해 샘플 효율성과 안정성에서 뛰어난 성능을 보인다.

ABSTRACT

We present the Variational Adaptive Newton (VAN) method which is a black-box optimization method especially suitable for explorative-learning tasks such as active learning and reinforcement learning. Similar to Bayesian methods, VAN estimates a distribution that can be used for exploration, but requires computations that are similar to continuous optimization methods. Our theoretical contribution reveals that VAN is a second-order method that unifies existing methods in distinct fields of continuous optimization, variational inference, and evolution strategies. Our experimental results show that VAN performs well on a wide-variety of learning tasks. This work presents a general-purpose explorative-learning method that has the potential to improve learning in areas such as active learning and reinforcement learning.

연구 동기 및 목표

• 순차적 학습 과제에서 베이지안 탐색과 계산 효율성을 결합하는 과제를 해결한다.
• 완전한 베이지안 추론의 높은 비용 없이도 효과적인 탐색을 지원하는 일반 목적의 최적화 방법을 개발한다.
• 연속 최적화, 변분 추론, 진화 전략 분야의 다양한 기법들을 공통의 제2차 최적화 프레임워크 아래 통합한다.
• 딥 강화학습 및 활성 학습과 같은 고차원 문제에서 스케일러블하고 적응형 탐색을 가능하게 한다.
• 완전한 베이지안 방법의 비용을 줄이되 분포 불확실성의 이점을 유지하는 계산적으로 효율적인 대안을 제공한다.

제안 방법

• 매개변수화된 분포 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ 에서 목표 함수의 기대값을 최소화하는 방식으로 최적화 문제를 변분 추론 작업으로 재구성한다.
• 변분 매개변수 $ oldsymbol{ heta} $ 를 최적화하기 위해 미러 강하법을 적용하고, 적응형 헤시안 근사를 통해 문제를 제2차 최적화로 간주한다.
• 불확실성을 모델링하고 평균 $ oldsymbol{ heta} $ 와 공분산 $ oldsymbol{ heta} $ 를 통해 탐색을 가능하게 하기 위해 가우시안 분포 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ 를 사용한다.
• 재구성 기법과 가우스-뉴턴 근사를 사용하여 헤시안의 효율적 근사를 도출함으로써 계산 비용을 감소시킨다.
• 딥 러닝 환경에서의 확장성을 위해 대각 헤시안 근사를 사용하는 확률적 변형(sVAN 및 sVAG)을 도입한다.
• 연속 최적화, 변분 추론, 진화 전략 분야의 기존 방법들과 VAN 간의 이론적 연관성을 확립한다.

실험 결과

연구 질문

• RQ1 비비지언 방법과 유사한 계산 효율성을 유지하면서도 효과적인 탐색을 지원할 수 있는 제2차 최적화 방법을 설계할 수 있는가?
• RQ2 변분 추론을 어떻게 활용하여 블랙박스 환경에서 베이지안 탐색과 적응형 최적화를 통합할 수 있는가?
• RQ3 딥 강화학습 환경에서 기존 방법들인 SGD 및 V-SGD와 비교했을 때 VAN의 성능은 어떠한가?
• RQ4 재구성 기법과 가우스-뉴턴 근사 기반의 헤시안 근사 방식이 방법의 안정성과 샘플 효율성에 어떤 영향을 미치는가?
• RQ5 활성 학습이나 강화학습과 같은 어떤 종류의 학습 과제에서 VAN이 기존 탐색 전략에 비해 뚜렷한 이점을 제공하는가?

주요 결과

• VAN 방법은 OpenAI Gym의 Half-Cheetah 정책 학습에서 SGD 및 V-SGD를 크게 앞서며 더 높은 샘플 효율성과 더 안정적인 성능을 달성한다.
• 더 정확한 헤시안 근사를 사용하는 sVAN-D-10은 sVAN-D-1과 비교해 초기 학습 단계에서 더 뛰어난 데이터 효율성을 보이며, 향상된 탐색 동역학을 나타낸다.
• Half-Cheetah 과제에서 sVAN과 sVAG는 동일한 성능을 보이며, 재구성 기반 및 가우스-뉴턴 기반의 헤시안 근사가 이 문제에 대해 모두 효과적임을 시사한다.
• V-SGD는 좋은 정책을 찾을 수는 있지만 시간이 지남에 따라 성능이 불안정해지며, 평균과 공분산을 별도로 업데이트하는 방식의 한계를 드러낸다.
• SGD는 탐색 부족으로 인해 성능이 열악하여, 복잡한 제어 과제에서 적응형 탐색의 핵심적 역할을 확인할 수 있다.
• 대각 헤시안 근사를 통해 고차원 환경에서도 성능을 발휘할 잠재력을 보이며, 대규모 모델에서는 전체 헤시안 계산은 여전히 비현실적이다.