[논문 리뷰] Reasoning and Generalization in RL: A Tool Use Perspective

Sam Wenke, Dan Saunders외 2명|arXiv (Cornell University)|2019. 07. 03.

Reinforcement Learning in Robotics참고 문헌 37인용 수 5

한 줄 요약

이 논문은 동물 인지에서 유래한 고전적인 함정-튜브 실험을 영감으로 삼아 도구 사용과 일반화를 연구하기 위한 강화학습(RL) 벤치마크 프레임워크를 제안한다. 다양한 작업 변형을 도입하여 에이전트의 인과적, 구조적, 기호적 추론 능력을 평가하며, 희박한 보상과 특정 인도적 편향(예: CNN 또는 메모리 메커니즘)이 다양한 환경에서 도구 사용과 일반화를 학습하는 데 핵심적임을 입증한다.

ABSTRACT

Learning to use tools to solve a variety of tasks is an innate ability of humans and has been observed of animals in the wild. However, the underlying mechanisms that are required to learn to use tools are abstract and widely contested in the literature. In this paper, we study tool use in the context of reinforcement learning and propose a framework for analyzing generalization inspired by a classic study of tool using behavior, the trap-tube task. Recently, it has become common in reinforcement learning to measure generalization performance on a single test set of environments. We instead propose transfers that produce multiple test sets that are used to measure specified types of generalization, inspired by abilities demonstrated by animal and human tool users. The source code to reproduce our experiments is publicly available at https://github.com/fomorians/gym_tool_use.

연구 동기 및 목표

• 동물 인지에서 영감을 얻어 도구 사용의 관점에서 일반화를 평가하기 위한 체계적인 프레임워크를 개발한다.
• 현재 단일 테스트 세트 기반 벤치마크에 의존하는 바탕으로, RL에서 도구 사용 일반화에 대한 체계적인 평가 프로토콜의 부재를 해결한다.
• 통합된 RL 환경에서 작동하는 인과적, 구조적, 기호적 추론 능력을 각각 테스트할 수 있는 다수의 작업 변형을 정의하고 구현한다.
• 공개된 코드를 통해 재현 가능한 벤치마크를 제공하여 도구 사용 RL 에이전트의 일반화 성능을 표준화된 방식으로 평가할 수 있도록 한다.
• 희박한 보상 설정에서 도구 사용 행동을 학습하고 일반화하기 위해 에이전트가 필요로 하는 인도적 편향을 조사한다.

제안 방법

• 동물 인지에서 유래한 고전적인 함정-튜브 작업을 RL 에이전트용 이산적이고 격자 기반 환경으로 변형한다.
• 특정 추론 능력을 고립하고 측정할 수 있도록 다수의 테스트 환경을 설계한다: 인과적(예: 물체 상호작용), 구조적(예: 물체 기억), 기호적(예: 이중 표현).
• 작업이 성공적으로 완료된 경우에만 희박한 보상을 제공하여 실제 세계의 탐색과 제한된 감독 하에서의 학습을 모방한다.
• 모든 작업 변형에서 성능을 평가하기 위해 프록시 정책 최적화(PPO) 기반 모델을 사용하여 향후 방법과의 비교를 가능하게 한다.
• 에이전트가 물체의 역할(예: 막대기로 도구 사용, 튜브로 제약 설정)과 그 상호작용을 추론하도록 환경을 구성한다.
• 각 환경 변형이 별도의 일반화 유형을 테스트하도록 모듈러한 실험 구조를 도입하여 에이전트 능력의 대상별 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RL에서 도구 사용 작업 간 일반화를 위해 에이전트가 필요한 추론 유형은 무엇인가? (인과적, 구조적, 기호적)
• RQ2 다양한 인도적 편향(예: CNN, 메모리 메커니즘)은 에이전트의 도구 사용 행동 학습 및 일반화 능력에 어떻게 영향을 미치는가?
• RQ3 단일 RL 프레임워크가 실세계 도구 사용 추론 능력을 반영하는 다수의 독립된 일반화 벤치마크를 지원할 수 있는가?
• RQ4 희박한 보상 설계는 RL 에이전트의 도구 사용 행동과 일반화의 발생에 어떻게 영향을 미치는가?
• RQ5 현재의 RL 알고리즘, 예를 들어 PPO는 명시적 추론 사전 지식 없이도 체계적인 도구 사용 작업을 성공적으로 해결할 수 있는가?

주요 결과

• 제안된 벤치마크는 전용 환경 변형을 통해 인과적, 구조적, 기호적 추론 유형을 성공적으로 고립하고 측정한다.
• 강력한 인도적 편향이 없이 희박한 보상만으로는 에이전트가 도구 사용 행동을 발견하기 어려우며, 이는 사전 지식의 필요성을 시사한다.
• 컨volutional 신경망(CNN)은 국소적 물체 상호작용에 대해 강력한 지각 사전 지식이지만, 도구 사용 작업에서 비국소적 추론에는 부족하다.
• 구조적 추론은 과거 상호작용의 기억이 필요하므로, 에이전트가 물체 간 관계를 내부적으로 표현해야 함을 시사한다.
• 기호적 추론(물체의 이중 표현 포함)은 여전히 도전적이며, 일반적인 딥RL 아키텍처를 초월한 전용 인도적 편향이 필요할 가능성이 높다.
• 벤치마크는 공개된 코드를 통해 재현 가능한 프레임워크를 제공하여 다양한 RL 방법 간의 일반화 성능를 체계적으로 평가하고 비교할 수 있도록 한다.