[논문 리뷰] Semantic Exploration from Language Abstractions and Pretrained Representations

Allison C. Tam, Neil C. Rabinowitz외 7명|arXiv (Cornell University)|2022. 04. 08.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 자연어에서 유도된 의미적으로 유의미한 상태 추상화를 통해 신호의 새로운 정도를 정의하여 강화학습에서 탐색을 향상시키기 위해 사전 학습된 시각-언어 표현을 사용하는 것을 제안한다. CLIP와 같은 모델에서 유도된 언어형 상태 표현을 활용함으로써, 3D 환경에서 샘플 효율성과 커버리지가 향상되어 기존의 내재 보상 방법 대비 학습 속도가 18–70% 빨라지고 탐색 과제에서 방문한 영역이 두 배로 증가한다.

ABSTRACT

Effective exploration is a challenge in reinforcement learning (RL). Novelty-based exploration methods can suffer in high-dimensional state spaces, such as continuous partially-observable 3D environments. We address this challenge by defining novelty using semantically meaningful state abstractions, which can be found in learned representations shaped by natural language. In particular, we evaluate vision-language representations, pretrained on natural image captioning datasets. We show that these pretrained representations drive meaningful, task-relevant exploration and improve performance on 3D simulated environments. We also characterize why and how language provides useful abstractions for exploration by considering the impacts of using representations from a pretrained model, a language oracle, and several ablations. We demonstrate the benefits of our approach in two very different task domains -- one that stresses the identification and manipulation of everyday objects, and one that requires navigational exploration in an expansive world. Our results suggest that using language-shaped representations could improve exploration for various algorithms and agents in challenging environments.

연구 동기 및 목표

• 기존의 새로운 정도 기반 방법이 시각적 노이즈와 의미적 추상화 부족으로 인해 실패하는 고차원적이고 부분 관찰 가능한 3D 환경에서 효과적인 탐색을 위한 과제를 해결하기 위해.
• 사전 학습된 시각-언어 표현이 자연어에 의해 형상화된 것으로, 강화학습의 내재 보상 설계를 위한 효과적인 추상화로 기능할 수 있는지 조사하기 위해.
• 언어 기반 표현이 다양한 3D 환경과 온-폴리시 및 오프-폴리시 강화학습 알고리즘 전반에서 탐색 성능 향상에 기여하는지 평가하기 위해.
• 언어 추상화의 기여도를 언어 오라클 기반 베이스라인 및 ImageNet 임베딩과 같은 대체 표현 방식을 사용한 아블레이션과 비교함으로써 이해하기 위해.
• 학습 중 언어 오라클이 제공되지 않더라도 언어형 표현이 효과적인 탐색을 가능하게 하여, 레이블이 없는 환경으로의 확장성을 보여주기 위해.

제안 방법

• 사전 학습된 시각-언어 모델(예: CLIP)을 사용하여 시각적 관측을 인간이 이해할 수 있는 개념과 일치하는 의미적 표현으로 매핑한다.
• 내재 보상은 사전 학습된 텍스트 또는 이미지 임베딩의 새로운 정도에 기반하여 계산되며, 언어 오라클 또는 모델 자체의 이미지 인코더를 사용할 수 있다.
• 기존의 탐색 알고리즘인 Random Network Distillation(RND)과 Never Give Up(NGU)에 통합되며, 이들의 상태 표현 모듈을 언어형 특징으로 대체한다.
• 이 방법은 Unity에서 시뮬레이션된 두 가지 3D 환경인 Playroom(물체 조작)과 City(대규모 탐색)에서 평가된다.
• 제어 실험을 통해 언어형 표현 방식을 ImageNet 임베딩과 비교하고, 언어의 영향을 분리하기 위해 아블레이션 버전을 사용한다.
• 일반화 성능 평가를 위해 온-폴리시(IMPALA)와 오프-폴리시(R2D2) 강화학습 알고리즘을 모두 테스트하여 학습 프레임워크 전반에 걸친 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사전 학습된 시각-언어 표현이 강화학습에서 의미적 새로운 정도를 정의하기 위한 효과적인 추상화로 기능할 수 있는가?
• RQ2 시각적 정보 또는 무작위 특징 기반 방법과 비교했을 때, 언어 기반 표현은 3D 환경에서 샘플 효율성과 커버리지에 어떻게 기여하는가?
• RQ3 복잡한 다중 객체 시나리오에서는 비언어적 표현 방식인 ImageNet 임베딩보다 언어 추상화가 얼마나 뛰어난가?
• RQ4 학습 중 언어 오라클이 제공되지 않더라도 언어형 표현의 이점이 유지되는가?
• RQ5 언어 지도, 표현 품질, 과제 특이성 등의 다양한 요소가 탐색 방법의 효과성에 어떻게 기여하는가?

주요 결과

• Playroom 환경에서 물체 조작 과제에서 언어형 표현은 기존 RND 및 NGU 방법 대비 샘플 효율성을 18–70% 향상시켰다.
• City 환경에서 언어 기반 탐색을 사용한 에이전트는 기존 방법 대비 방문한 영역을 두 배로 늘렸으며, 대규모 탐색에서 우수한 커버리지 성능을 보였다.
• 알고리즘 간 일반화 성능이 뛰어나, 온-폴리시(IMPALA)와 오프-폴리시(R2D2) 학습 설정 모두에서 성능 향상을 보였다.
• 복잡한 과제인 '찾기'와 같이 다중 객체 시나리오 이해가 필수적인 과제에서는 언어형 표현을 사용한 에이전트가 ImageNet 임베딩을 사용한 에이전트보다 뛰어난 성능을 보였다.
• 언어 오라클 없이도 사전 학습된 이미지 인코더만을 사용한 LSE-NGU 버전이 언어 오라클 버전과 유사한 성능을 보여, 강건성과 확장성의 가능성을 입증했다.
• 아블레이션 연구를 통해 표현의 의미적 일관성(단지 표현 용량이 아닌)이 향상된 탐색 성능을 이끄는 핵심 요소임을 확인했으며, 다양한 과제와 환경 전반에서 일관된 성과 향상이 관찰되었다.