[논문 리뷰] Meta-learning curiosity algorithms

Ferran Alet, Martin F. Schneider외 2명|arXiv (Cornell University)|2020. 03. 11.

Reinforcement Learning in Robotics참고 문헌 59인용 수 16

한 줄 요약

이 논문은 신경망, 버퍼, 고유 손실 함수를 조합하는 프로그래머블 탐구 알고리즘의 풍부한 공간에서 탐색하는 새로운 메타학습 접근법을 제안한다. 이는 신경망 가중치를 전이하는 것이 아니라, 인간이 설계한 방법과 비교해도 우수하거나 그에 못지않는 성능을 보이는 두 가지 새로운 탐구 알고리즘을 발견한다. 이는 이미지 기반 그리드 월드, Ant, Hopper, Lunar Lander 등 다양한 환경에서 광범위한 일반화 성능을 보이며, 유사한 작업을 넘어서 메타강화학습의 넓은 일반화 가능성을 입증한다.

ABSTRACT

We hypothesize that curiosity is a mechanism found by evolution that encourages meaningful exploration early in an agent's life in order to expose it to experiences that enable it to obtain high rewards over the course of its lifetime. We formulate the problem of generating curious behavior as one of meta-learning: an outer loop will search over a space of curiosity mechanisms that dynamically adapt the agent's reward signal, and an inner loop will perform standard reinforcement learning using the adapted reward signal. However, current meta-RL methods based on transferring neural network weights have only generalized between very similar tasks. To broaden the generalization, we instead propose to meta-learn algorithms: pieces of code similar to those designed by humans in ML papers. Our rich language of programs combines neural networks with other building blocks such as buffers, nearest-neighbor modules and custom loss functions. We demonstrate the effectiveness of the approach empirically, finding two novel curiosity algorithms that perform on par or better than human-designed published curiosity algorithms in domains as disparate as grid navigation with image inputs, acrobot, lunar lander, ant and hopper.

연구 동기 및 목표

• 현재 메타강화학습 방법의 한계, 즉 극적으로 다른 환경 간에 일반화가 잘 되지 않는 문제를 해결하기 위해, 탐구를 알고리즘 공간에 대한 메타학습으로 재정의한다.
• 입력 및 행동 공간이 다른 환경(예: 이미지 기반 및 로봇 제어 작업) 간에 일반화를 가능하게 하기 위해, 단지 네트워크 가중치가 아니라 전체 프로그램을 학습한다.
• 신경망, 최근접 이웃 모듈, 고유 손실 함수 등 프로그램 구성 요소의 조합 공간에서 자동으로 탐색함으로써 새로운 효과적인 탐구 메커니즘을 발견한다.
• 프로그램의 구조적 특성 기반 성능 예측과 학습 곡선 모니터링을 통해 초기에 불성실한 프로그램을 제거함으로써 계산 비용이 높은 메타학습 과정을 효율적으로 만든다.
• 메타학습된 프로그램이 다양한 복잡한 환경에서 인간이 설계한 기준보다 우수하거나 그에 못지않는 성능을 보이는 탐구 알고리즘을 도출할 수 있음을 입증한다.

제안 방법

• 이 방법은 이중 루프 아키텍처를 사용한다: 외부 루프는 도메인 특화 언어(DSL)를 통해 프로그램을 탐색하여 탐구 모듈을 생성하고, 내부 루프는 동적으로 적응하는 보상 신호를 사용해 표준 강화학습을 수행한다.
• DSL은 신경망(경사하강법 포함), 학습된 목적 함수, 앙상블, 버퍼, 고유 손실 함수 등을 지원하여 다양한 탐색 전략을 표현할 수 있다.
• 탐색 과정은 프로그램의 구조적 특성 기반 성능 예측과 학습 곡선 모니터링을 통해 불성실한 후보자에 대해 전체 학습을 피하기 위해 조기 정지 기법을 사용한다.
• 후보 프로그램은 환경의 분포에서 평가되며, 초기에는 단순하고 짧은 수명 주기의 작업부터 시작하여 비효율적인 알고리즘을 조기에 제거한다.
• 최종적인 탐구 모듈은 각 타임스텝에서 의사 보상 $\widehat{r}$ 을 계산하여 에이전트의 내재적 동기부여를 형상화하고 탐색을 이끌어낸다.
• 다양한 입력 모odalities(예: 픽셀 대 관절 상태)를 가진 환경 간에 일반화를 가능하게 하기 위해 다형성 데이터 유형을 사용하여 네트워크 아키텍처(예: CNN 대 MLP)를 환경에 맞게 자동 조정한다.

실험 결과

연구 질문

• RQ1 극적으로 다른 상태 및 행동 공간을 가진 환경 간에, 풍부한 프로그래머블 탐구 알고리즘 공간에서의 메타학습이 일반화될 수 있는가?
• RQ2 자동으로 발견된 탐구 알고리즘이 다양한 강화학습 벤치마크에서 인간이 설계한 내재적 보상 메커니즘을 능가하거나 그에 못지않게 성능을 낼 수 있는가?
• RQ3 구조적 예측과 학습 곡선 모니터링 기반의 조기 정지는 조합적 프로그램 공간에서 메타학습의 계산 비용을 크게 줄일 수 있는가?
• RQ4 신경망, 버퍼, 고유 손실 함수를 포함한 메타학습된 프로그램이 이전에 문헌에 발표되지 않은 새로운 효과적인 탐색 전략을 발견할 수 있는가?
• RQ5 근본적으로 다른 작업 간에 일반화 성능를 고려할 때, 메타학습된 프로그램은 메타학습된 가중치보다 더 우수한 성능를 보일 수 있는가?

주요 결과

• 제안된 방법은 이미지 기반 그리드 탐색, Acrobot, Lunar Lander, Ant, Hopper 등 다양한 환경에서 인간이 설계한 탐구 알고리즘과 비슷하거나 그 이상의 성능을 보이는 두 가지 새로운 탐구 알고리즘을 발견하였다.
• 최상위 성능를 보이는 탐구 알고리즘은 입력 공간(예: 픽셀 대 관절 각도)과 출력 공간이 다른 환경 간에 일반화되며, 유사한 작업을 넘어서 광범위한 전이 성능를 보였다.
• 표준 탐구 방법이 어려워하는 장수명 주기, 고변동성 환경에서도 효과적인 탐색과 높은 수익률을 달성하였다.
• 성능 예측과 학습 곡선 모니터링 기반의 조기 정지는 불성실한 프로그램의 전체 학습을 피하기 때문에 계산 시간을 줄였다.
• 기존의 메타강화학습 방법이 작은 작업 변화(예: 다양한 미로 또는 경사면) 내에서만 일반화되던 것과 달리, 근본적으로 다른 환경 간에 일반화할 수 있음을 입증하였다.
• 발견된 알고리즘은 해석 가능하며, 신경망, 최근접 이웃 모듈 등의 모듈식 구성 요소로 이루어져 있어 향후 분석 및 적응 가능성에 기여할 수 있다.