[논문 리뷰] Multi-Task Reinforcement Learning with Context-based Representations

Shagun Sodhani, Amy Zhang외 1명|arXiv (Cornell University)|2021. 02. 11.

Reinforcement Learning in Robotics참고 문헌 59인용 수 20

한 줄 요약

이 논문은 메타데이터(예: 자연어 설명)를 맥락으로 활용하여 가족 구성의 여러 작업 간에 조합 가능하고 해석 가능한 표현을 학습하는 다중 작업 강화학습 프레임워크인 CARE(CoNtextual Attention-based Representation learning)를 제안한다. 맥락에 따라 표현을 선택함으로써 CARE는 부정적 간섭을 감소시키고 Meta-World—어려운 50개 작업의 로봇 조작 벤치마크—에서 최신 기준 성능을 달성한다.

ABSTRACT

The benefit of multi-task learning over single-task learning relies on the ability to use relations across tasks to improve performance on any single task. While sharing representations is an important mechanism to share information across tasks, its success depends on how well the structure underlying the tasks is captured. In some real-world situations, we have access to metadata, or additional information about a task, that may not provide any new insight in the context of a single task setup alone but inform relations across multiple tasks. While this metadata can be useful for improving multi-task learning performance, effectively incorporating it can be an additional challenge. We posit that an efficient approach to knowledge transfer is through the use of multiple context-dependent, composable representations shared across a family of tasks. In this framework, metadata can help to learn interpretable representations and provide the context to inform which representations to compose and how to compose them. We use the proposed approach to obtain state-of-the-art results in Meta-World, a challenging multi-task benchmark consisting of 50 distinct robotic manipulation tasks.

연구 동기 및 목표

• 세부적인 맥락 기반 지식 전이를 가능하게 하여 다중 작업 강화학습에서 발생하는 부정적 간섭 문제를 해결하기 위해.
• 자연어 설명과 같은 작업 메타데이터를 맥락 신호로 활용하여 표현 학습 및 정책 조합을 안내하기 위해.
• 동적으로 맥락에 따라 조합 가능한 해석 가능한 작업별 표현을 학습하여 일반화 능력을 향상시키기 위해.
• Meta-World와 같은 복잡한 실제 다중 작업 환경에서 샘플 효율성과 점근적 성능을 향상시키기 위해.

제안 방법

• 이 방법은 자연어 설명과 같은 작업 전용 맥락을 통합함으로써 표준 MDP를 확장한 블록 맥락 MDP(BC-MDP) 프레임워크를 도입한다.
• 작업 및 물체 전용 인코더의 혼합을 활용하여 상태 공간의 여러 분리된 표현을 학습한다.
• 맥락 인식형 어텐션 메커니즘이 주어진 작업 맥락에 기반해 관련 표현을 선택하고 조합함으로써 동적 정책 조합을 가능하게 한다.
• 정책 네트워크는 선택된 표현을 사용하여 행동을 생성하여 에이전트가 맥락에 따라 행동을 적응시킬 수 있도록 한다.
• 표현 선택을 맥락으로 조건화함으로써 오프폴리시 딥 강화학습 알고리즘을 사용해 엔드 투 엔드로 프레임워크를 훈련한다.
• 고수준의, 비구조적 또는 부정확한 메타데이터를 지원하여 실제 응용에서의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 다중 작업 강화학습에서 공유 표현의 선택과 조합을 안내하기 위해 작업 메타데이터를 효과적으로 활용할 수 있는가?
• RQ2 맥락 인식형 표현 학습은 다양한 작업 간 지식 전이 시 부정적 간섭을 어떻게 줄일 수 있는가?
• RQ3 해석 가능한 작업별 인코더의 혼합이 복잡한 다중 작업 벤치마크에서 샘플 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ4 상태 공간과 목적이 다른 작업 간에 맥락 기반 표현 선택이 얼마나 일반화 가능한가?

주요 결과

• CARE는 Meta-World 벤치마크에서 최신 기준 성능을 달성하여 이전 방법보다 샘플 효율성과 최종 작업 성공률 모두에서 뛰어난 성능을 보였다.
• 자연어 설명과 같은 맥락의 사용은 다중 작업 학습에서 일반화 능력을 크게 향상시키고 부정적 간섭을 감소시켰다.
• 학습된 표현은 해석 가능하며, 개별 인코더는 물체 유형이나 기술 구성 요소와 같은 특정 측면에 특화되어 있다.
• 관련 부분공간에 집중함으로써 서로 다른 상태 공간을 가진 작업 간에 일반화가 가능하여 부분 관측 설정에서도 효과적인 전이를 가능하게 했다.
• 제거 실험 결과, 맥락 인식형 표현 선택이 성능에 결정적인 역할을 함을 확인하였으며, 맥락을 무시하거나 효과적으로 활용하지 못할 경우 성능이 떨어졌다.