[논문 리뷰] MADE: Exploration via Maximizing Deviation from Explored Regions

Tianjun Zhang, Paria Rashidinejad외 4명|arXiv (Cornell University)|2021. 06. 18.

Reinforcement Learning in Robotics참고 문헌 105인용 수 11

한 줄 요약

이 논문은 강화학습에서 이전에 방문한 상태-행동 영역에서의 이탈을 최대화하기 위해 RL 목적함수에 적응형 정규화를 추가하는 새로운 탐색 방법인 MADE를 제안한다. 이 방법은 MiniGrid와 DeepMind Control Suite와 같은 희박 보상 환경에서 기존의 내재적 궁금증과 수세기 기반 기준선을 능가하는 최신 기술 수준의 샘플 효율성을 달성하며, 간단하고 즉시 사용 가능한 내재적 보상 메커니즘을 통해 작동한다.

ABSTRACT

In online reinforcement learning (RL), efficient exploration remains particularly challenging in high-dimensional environments with sparse rewards. In low-dimensional environments, where tabular parameterization is possible, count-based upper confidence bound (UCB) exploration methods achieve minimax near-optimal rates. However, it remains unclear how to efficiently implement UCB in realistic RL tasks that involve non-linear function approximation. To address this, we propose a new exploration approach via extit{maximizing} the deviation of the occupancy of the next policy from the explored regions. We add this term as an adaptive regularizer to the standard RL objective to balance exploration vs. exploitation. We pair the new objective with a provably convergent algorithm, giving rise to a new intrinsic reward that adjusts existing bonuses. The proposed intrinsic reward is easy to implement and combine with other existing RL algorithms to conduct exploration. As a proof of concept, we evaluate the new intrinsic reward on tabular examples across a variety of model-based and model-free algorithms, showing improvements over count-only exploration strategies. When tested on navigation and locomotion tasks from MiniGrid and DeepMind Control Suite benchmarks, our approach significantly improves sample efficiency over state-of-the-art methods. Our code is available at https://github.com/tianjunz/MADE.

연구 동기 및 목표

• 비선형 함수 근사가 적용되는 고차원, 희박 보상 강화학습 환경에서 기존의 수세기 기반 UCB 방법이 실패하는 상황에서 효율적인 탐색 문제를 해결하기 위해.
• 표본화된 설정을 넘어선 UCB 스타일 탐색을 일반화하는 실용적이고 이론적으로 탄탄한 내재적 탐색 보너스를 개발하기 위해.
• 이전에 커버되지 않은 영역을 탐색하도록 정책을 적응적으로 장려하는 정규화를 만들기 위해.
• 새로운 정규화를 표준 강화학습 목표함수에 통합한 증명 가능하게 수렴하는 알고리즘을 제공하기 위해.
• 기존의 내재적 보상 방법과 비교하여 표본 효율성과 성능을 실험적으로 검증하기 위해.

제안 방법

• 이 방법은 탐색되지 않은 영역에서의 높은 방문 밀도를 장려하는 항목을 추가한 정규화된 강화학습 목표함수를 도입하며, 이는 $ L_k(d^\pi) = J(d^\pi) + \tau_k \sum_{s,a} \sqrt{\frac{d^\pi(s,a)}{\rho^{k}_{\text{cov}}(s,a)}} $ 로 정의된다.
• 정규화는 이전에 커버된 정도 $ \rho^{k}_{\text{cov}} $ 가 낮은 곳에서 다음 정책의 방문 밀도 $ d^\pi $ 가 높아지도록 유도하여, 탐색된 영역에서의 이탈을 효과적으로 최대화한다.
• 알고리즘은 근사된 계획 오라클을 사용하여 정규화된 목표함수를 해결하며, 약한 가정 하에 전역 최적해로 수렴함을 보장한다.
• 정규화에서 유도된 내재적 보상은 계산이 단순하며, 기존의 어떤 강화학습 알고리즘과도 쉽게 통합되어 플러그인 보너스로 사용할 수 있다.
• 이 방법은 UCB 스타일 탐색에 기반하지만, 분산에 의존하는 보너스를 방문 밀도 기반의 이탈 측도로 대체하여 가치 함수 분산 추정이 필요 없도록 한다.
• 이 접근법은 표본화된 설정과 연속 제어 설정 모두에서 평가되었으며, GitHub에 구현 코드가 제공된다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사를 사용할 때, UCB 스타일 탐색 보너스는 표본화된 설정을 넘어서 효과적으로 일반화될 수 있는가?
• RQ2 가치 함수 분산 추정에 의존하지 않고도, 커버되지 않은 영역에서 탐색을 장려하는 내재적 보상은 어떻게 설계할 수 있는가?
• RQ3 탐색된 영역에서의 이탈을 최대화하는 것이 희박 보상 환경에서 샘플 효율성을 향상시키는가?
• RQ4 제안된 정규화는 기존의 강화학습 알고리즘에 최소한의 수정으로 효율적으로 최적화되고 통합될 수 있는가?
• RQ5 샘플 효율성과 내구성 측면에서, 이 방법은 최신 기술 수준의 내재적 탐색 기준선과 비교해 어떻게 성능을 내는가?

주요 결과

• MADE는 MiniGrid 탐색 과제에서 표본 효율성이 크게 향상되어, 수세기 기반 및 궁금증 기반 기준선을 능가한다.
• DeepMind Control Suite의 이동 과제에서, MADE는 최신 기술 수준의 탐색 방법보다 더 적은 환경 상호작용 수로 더 높은 최종 성능를 달성한다.
• 표본화된 설정에서, MADE는 모든 기준선보다 더 뛰어난 샘플 효율성을 확보하였으며, 정규화된 샘플 사용량이 항상 다른 방법보다 낮게 유지되었다.
• MADE에서 유도된 내재적 보상은 모델 프리 및 모델 기반 강화학습 알고리즘 모두에서 효과적이며, 넓은 호환성을 보였다.
• 기존의 내재적 보상 방법에서 관찰되는 일반적인 실패 유형인 이탈 및 치명적인 기억 상실을 피하는 데 성공했다.
• 이 방법은 하이퍼파라미터 선택에 대해 강건하며, 다양한 환경에서 뛰어난 성능을 유지한다.