[논문 리뷰] Bayesian Optimization with Automatic Prior Selection for Data-Efficient Direct Policy Search

Rémi Pautrat, Konstantinos Chatzilygeroudis외 1명|arXiv (Cornell University)|2017. 09. 20.

Machine Learning and Algorithms참고 문헌 43인용 수 33

한 줄 요약

이 논문은 가장 가능성이 높은 기대 향상(MLEI)을 제안하며, 이는 다수의 후보 사전 분포 중에서 가능도와 기대 향상도를 바탕으로 가장 관련성이 높은 사전 분포를 자동으로 선택하는 베이지안 최적화의 획득 함수이다. MLEI는 현재 작업 환경(예: 손상 또는 지형)이 어떤 사전 분포와도 정확히 일치하지 않더라도 시뮬레이션 또는 이전 작업에서 유래한 사전 지식을 동적으로 활용함으로써 로봇에서 데이터 효율적인 직접 정책 탐색을 가능하게 한다. 이는 시뮬레이션 및 실제 로봇 실험에서 단일 사전 분포를 사용하는 표준 기대 향상도(EI)보다 뛰어난 성능을 보였다.

ABSTRACT

One of the most interesting features of Bayesian optimization for direct policy search is that it can leverage priors (e.g., from simulation or from previous tasks) to accelerate learning on a robot. In this paper, we are interested in situations for which several priors exist but we do not know in advance which one fits best the current situation. We tackle this problem by introducing a novel acquisition function, called Most Likely Expected Improvement (MLEI), that combines the likelihood of the priors and the expected improvement. We evaluate this new acquisition function on a transfer learning task for a 5-DOF planar arm and on a possibly damaged, 6-legged robot that has to learn to walk on flat ground and on stairs, with priors corresponding to different stairs and different kinds of damages. Our results show that MLEI effectively identifies and exploits the priors, even when there is no obvious match between the current situations and the priors.

연구 동기 및 목표

• 현재 작업 환경이 알려져 있거나 일치하지 않을 때 다수의 후보 사전 분포 중 가장 적절한 것을 선택하는 문제를 해결하기 위해.
• 사전 분포의 정확성을 사전에 가정하지 않고도 직접 정책 탐색의 데이터 효율성을 향상시키기 위해.
• 학습 중에 가장 관련성이 높은 사전 분포를 동적으로 식별하고 활용할 수 있도록 베이지안 최적화를 개선하기 위해.
• 자동 사전 분포 선택이 시뮬레이션 및 실제 로봇 시스템에서 알려지지 않은 손상과 새로운 환경에 대한 적응성을 향상시키는지 확인하기 위해.

제안 방법

• 기대 향상도와 각 사전 모델의 가능도를 조합한 새로운 획득 함수인 가장 가능성이 높은 기대 향상도(MLEI)를 제안한다.
• 시뮬레이션 또는 이전 작업에서 유래한 사전 지식을 포함하는 비상수 평균 함수를 갖는 가우시안 프로세스를 사용하여 보상 함수를 모델링한다.
• 관측된 데이터를 바탕으로 각 사전 모델의 가능도를 계산하여 현재 환경에서의 타당성을 평가한다.
• 기대 향상도와 사전 모델 가능도를 균형 잡는 방식으로 다음 평가 지점을 선택함으로써 최적화 과정에서 동적 사전 분포 선택을 가능하게 한다.
• 다양한 시나리오(예: 그대로인 로봇, 손상된 다리, 다양한 지형)를 나타내는 각기 다른 사전 모델의 혼합을 사용하고, 관측된 보상에 따라 그 가중치를 갱신한다.
• 다수의 사전 분포에 대한 공동 모델을 사용하는 베이지안 최적화를 통해 전이 학습과 예측되지 않은 조건에 대한 강건한 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 진정한 환경이 알려져 있지 않은 상황에서 베이지안 최적화가 다수의 후보 사전 분포 중 가장 관련성이 높은 것을 효과적으로 선택할 수 있는가?
• RQ2 MLEI를 통한 자동 사전 분포 선택은 단일 고정 사전 분포를 사용하는 표준 기대 향상도에 비해 샘플 효율성과 성능 면에서 어떻게 비교되는가?
• RQ3 실제 손상 또는 지형 조건이 가용한 사전 분포에 포함되어 있지 않은 경우에도 MLEI가 효과적인 정책 학습을 가능하게 하는가?
• RQ4 MLEI는 다수의 사전 분포를 얼마나 효과적으로 활용하여 손상된 환경나 새로운 환경에서 보완 행동을 발견할 수 있는가?

주요 결과

• MLEI는 시뮬레이션 및 실제 로봇 실험 모두에서 단일 사전 분포를 사용하는 표준 기대 향상도보다 뛰어난 성능을 보였으며, 실제 환경이 사전 분포에 포함되어 있지 않은 경우 특히 두각을 나타냈다.
• 알 수 없는 손상이 있는 6족 로봇에서 MLEI는 10회 이내의 에피소드 안에 높은 성능의 보행 패턴을 발견했으며, 실제 손상과 일치하는 사전 분포가 존재하지 않았음에도 불구하고 성공했다.
• 실제 계단이 사전 분포에 포함되어 있지 않은 상황에서도 MLEI는 베이스라인 방법을 능가했으며, 이는 예측되지 않은 지형으로의 일반화 능력을 입증했다.
• 로봇이 손상된 상태에서 손상이 사전 분포에 포함되어 있지 않더라도, MLEI는 그대로인 로봇을 위한 사전 분포를 사용하는 기대 향상도보다 더 높은 성능을 달성했으며, 이는 효과적인 전이 학습을 가능하게 했다.
• 실물 실험에서는 10회 반복 후 평탄한 지형에서 효과적인 보완 보행 패턴을 발견했으며, 5회의 반복 실험에서 일관된 성능 향상을 보였다.
• 이 방법은 손상 적응과 지형 일반화 모두에 사전 분포를 성공적으로 활용했으며, 실제 로봇 응용 분야에서의 강건성을 확인했다.