[논문 리뷰] Novelty Search in Representational Space for Sample Efficient Exploration

Ruo Yu Tao, Vincent François-Lavet외 1명|arXiv (Cornell University)|2020. 09. 28.

Machine Learning and Algorithms인용 수 14

한 줄 요약

이 논문은 정보 이론적 접근 방식을 통해 학습된 저차원 표현 공간에서의 새로운 사고(노바티티 서치)를 활용하여 강화학습에서 샘플 효율적인 탐색 방법을 제안한다. 정보 복잡도 원리에 따라 모델 기반 및 모델리스 목표를 결합함으로써, 잠재 공간 내의 최근접 이웃 거리를 사용하여 내재 보상(intrinsic reward)을 생성하며, 이는 강력한 기준 대비 희박 보상 미로 및 제어 과제에서 탐색 효율을 크게 향상시킨다.

ABSTRACT

We present a new approach for efficient exploration which leverages a low-dimensional encoding of the environment learned with a combination of model-based and model-free objectives. Our approach uses intrinsic rewards that are based on the distance of nearest neighbors in the low dimensional representational space to gauge novelty. We then leverage these intrinsic rewards for sample-efficient exploration with planning routines in representational space for hard exploration tasks with sparse rewards. One key element of our approach is the use of information theoretic principles to shape our representations in a way so that our novelty reward goes beyond pixel similarity. We test our approach on a number of maze tasks, as well as a control problem and show that our exploration approach is more sample-efficient compared to strong baselines.

연구 동기 및 목표

• 희박 보상 환경에서 강화학습의 샘플 효율성을 향상시키기 위해.
• 불필요한 시각적 노이즈를 제거하면서도 의미 있는 동역학을 유지하는 표현 학습 방법을 개발하기 위해.
• 잠재 공간 내의 새로운 사고 기반 내재 보상 메커니즘을 설계하여 효과적인 탐색을 위해.
• 모델 예측 제어를 사용하여 표현 공간에서의 계획을 통합하여 탐색을 향상시키기 위해.
• 학습된 표현이 후속 탐색 과제를 위해 정보량이 많고 일반화 가능하도록 보장하기 위해.

제안 방법

• 정보 복잡도 원리를 활용하여 상태 공간의 압축되고 동역학적으로 관련된 표현을 학습한다.
• 모델 기반 및 모델리스 목표를 함께 최적화하여 동역학 유사성을 유지하는 저차원 잠재 표현을 학습한다.
• 잠재 공간 내의 k개 이웃을 사용하여 이전에 방문한 상태들까지의 거리 기반으로 새로운 사고 점수를 계산한다.
• 새로운 사고 점수 비례로 내재 보상을 생성하여 새로운 동적 행동을 탐색하도록 유도한다.
• 모델의 정확도가 충분히 높을 때에만 모델 예측 제어(MPC)를 사용하여 행동 계획을 수행함으로써 신뢰할 수 있는 새로운 사고 추정을 보장한다.
• 정보 이론적 제약 조건을 사용하여 표현을 형상화함으로써, 잠재 공간 내의 거리가 단순히 픽셀 수준의 변형이 아니라 의미 있는 동역학적 차이를 반영하도록 보장한다.

실험 결과

연구 질문

• RQ1 잠재 공간 내의 새로운 사고 기반 내재 보상은 희박 보상 환경에서 탐색의 샘플 효율성을 향상시키는가?
• RQ2 픽셀 기반의 새로운 사고보다 정보 이론적 표현 학습이 내재 보상의 품질을 어떻게 향상시키는가?
• RQ3 표현 공간에서의 계획은 직접 상태 공간 계획에 비해 탐색을 얼마나 향상시키는가?
• RQ4 모델 기반 및 모델리스 표현 학습을 함께 적용하면 탐색을 위한 더 강력하고 일반화 가능한 표현을 얻을 수 있는가?
• RQ5 이 방법은 몬테주마의 레비나(Montezuma’s Revenge)와 같은 복잡한 환경에서 계산 비용과 성능 측면에서 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 카이오스티크(curiosity) 및 카운트 기반 탐색과 같은 강력한 기준 대비 미로 탐색 과제에서 뛰어난 샘플 효율성을 달성한다.
• 잠재 공간 내의 새로운 사고 보상 사용으로 인해 희박 보상 환경에서 더 빠른 수렴과 더 포괄적인 상태 공간 커버리지가 달성된다.
• 정보 이론적 표현 학습이 불필요한 시각적 노이즈를 효과적으로 걸러내어 의미 있는 동역학적 변화에 집중한 탐색을 가능하게 한다.
• 신뢰할 수 있는 모델을 기반으로 MPC를 통합함으로써 계획은 모델의 정확도가 높을 때에만 수행되어 안정성과 성능이 향상된다.
• 몬테주마의 레비나에 대한 초도 결과는 복잡한 동역학을 가진 더 복잡한 환경으로의 확장 가능성을 시사하며, 희망적인 전망을 보인다.
• 의미 있는 잠재 표현 덕분에 에이전트 행동의 해석 가능성이 향상되어 인간이 개입하는 응용 분야를 지원한다.