[논문 리뷰] Improving Intrinsic Exploration with Language Abstractions

Jesse Mu, Victor W. Zhong외 5명|arXiv (Cornell University)|2022. 02. 17.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

이 논문은 강화학습에서 좌표 기반 목표 또는 상태의 신선함을 언어 기반 추상화로 대체하는 언어 증강 내재 탐색 방법인 L-AMIGo와 L-NovelD를 제안한다. 자연어를 통해 의미적 진전을 표현함으로써, 이 방법들은 13개의 MiniGrid 및 MiniHack 작업에서 탐색 효율성과 성능을 평균 47–85% 향상시킨다. 특히 원시 상태에 대한 고수준 추론이 필요한 복잡하고 보상이 희박한 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Reinforcement learning (RL) agents are particularly hard to train when rewards are sparse. One common solution is to use intrinsic rewards to encourage agents to explore their environment. However, recent intrinsic exploration methods often use state-based novelty measures which reward low-level exploration and may not scale to domains requiring more abstract skills. Instead, we explore natural language as a general medium for highlighting relevant abstractions in an environment. Unlike previous work, we evaluate whether language can improve over existing exploration methods by directly extending (and comparing to) competitive intrinsic exploration baselines: AMIGo (Campero et al., 2021) and NovelD (Zhang et al., 2021). These language-based variants outperform their non-linguistic forms by 47-85% across 13 challenging tasks from the MiniGrid and MiniHack environment suites.

연구 동기 및 목표

• 상태 기반의 신선도 측정 방식이 흔히 표면적 또는 저수준의 행동을 보상하는 데서 비롯하는 한계를 해결하기 위해.
• 언어가 추상적이고 고수준의 환경 추상화를 지도하는 데 더 효과적인 매체가 될 수 있는지 조사하기 위해.
• 기존의 표준 강화학습 알고리즘 외에도, AMIGo와 NovelD와 같은 최신 강력한 기준 모델과의 비교를 통해 언어 기반 탐색의 성능을 제어된 환경에서 평가하기 위해.
• 자연어 커리큘럼을 가능하게 하고 학습 중에 언어적으로 새로운 상태를 시각화함으로써 학습 과정의 해석 가능성을 향상시키기 위해.
• 구성적 언어 의미 체계가 복잡한 순차적 추론이 요구되는 환경에서 탐색 성능에 미치는 영향을 분석하기 위해.

제안 방법

• AMIGo 프레임워크를 확장하여 좌표 기반의 교사가 제안하는 목표를 중간 목표의 자연어 기반 기술로 대체함으로써 L-AMIGo를 구현한다.
• NovelD의 내재 보상 메커니즘을 수정하여 언어 애너테이션 기반으로 의미적으로 새로운 상태를 방문할 경우 추가 보너스를 제공하도록 함으로써 L-NovelD를 도입한다.
• 사전 학습된 언어 모델을 사용해 환경 상호작용 중 생성된 언어 메시지를 임bedding하고 비교함으로써, 원시 상태의 차이를 넘어서는 의미적 신선도 탐지 기능을 구현한다.
• MiniGrid 및 MiniHack 환경에서 언어 증강 내재 보상으로 에이전트를 학습시키며, 보상이 희박하고 장수평이 필요한 작업에서 평가를 수행한다.
• 외부 보상과는 독립적으로 작업 완료까지의 진전을 측정할 수 있는 언어 기반 목표의 난이도 지표를 도입한다.
• 학습 중 가장 언어적으로 새로운 메시지를 시각화하고 분석함으로써, 설명 가능성과 커리큘럼 개발의 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 보상이 희박한 강화학습에서 상태 기반의 신선도 측정 방식에 비해 언어 추상화가 내재 탐색 성능을 향상시킬 수 있는가?
• RQ2 AMIGo와 NovelD와 같은 강력한 기준 모델과 비교했을 때 언어 기반 탐색은 샘플 효율성과 최종 성능 측면에서 어떻게 성과를 내는가?
• RQ3 복잡한 환경에서 고수준 추론이 요구되는 상황에서 구성적 언어 의미 체계는 탐색 성능에 얼마나 큰 영향을 미치는가?
• RQ4 언어 애너테이션을 통해 자연어 커리큘럼를 가능하게 하거나 새로운 의미적 상태를 시각화함으로써 학습 과정의 해석 가능성이 향상되는가?
• RQ5 잡음이 많거나 관련이 없는 중간 단계의 언어 메시지가 존재하더라도 효과적인 탐색을 유지할 수 있는가, 아니면 성능이 저하되는가?

주요 결과

• L-AMIGo와 L-NovelD는 13개의 도전적인 MiniGrid 및 MiniHack 작업에서 비언어 기반 대비 47–85% 향상된 성능을 기록하며 언어 기반 추상화의 뚜렷한 성과를 입증한다.
• 성능 향상은 상태 공간과 행동 공간이 큰 추상적 고수준 작업, 예를 들어 Wand of Death (Hard)와 MultiRoom-N4-Extreme에서 가장 두드러지며, 이는 의미적 이해가 핵심이 되는 경우에 해당한다.
• 언어 기반 탐색은 설명 가능성을 향상시킨다: L-AMIGo는 의미적 목표의 자연어 커리큘럼를 개발하고, L-NovelD는 학습 중 가장 언어적으로 새로운 메시지를 시각화할 수 있다.
• 구성적 언어 의미 체계는 탐색 성능을 크게 향상시키며, 구성적 대비 비구성적 언어 표현 방식을 비교한 추론 실험에서 이를 입증한다.
• 잡음이 많거나 관련 없는 중간 단계의 언어 메시지가 존재하더라도 언어 증강 방법은 뛰어난 성능을 유지하며, 불완전한 언어 신호에 대해 뛰어난 내성성을 보인다.
• 예를 들어 Quest (Medium)와 같이 환경적 특징(예: 협소한 통로)을 전략적으로 활용할 필요가 있는 작업에서는 언어 기반 탐색이 상태 기반 방법보다 더 효과적으로 복잡한 다단계 행동을 학습시킨다.