[논문 리뷰] Composing Task-Agnostic Policies with Deep Reinforcement Learning

Ahmed H. Qureshi, Jacob J. Johnson외 4명|arXiv (Cornell University)|2019. 05. 25.

Reinforcement Learning in Robotics참고 문헌 35인용 수 11

한 줄 요약

이 논문은 새로운 작업을 해결하기 위해 작업에 종속되지 않는 기본 정책을 복합 정책으로 조합하는 딥 강화학습 방법을 제안한다. 이중 순환 신경망 인코더와 주의 기반 디코더를 사용하여 모델은 순차적이고 동시에 기술을 조합할 수 있으며, 높은 데이터 효율성을 달성하고 희박 보상, 복잡한 제어 환경에서 표준 및 계층적 강화학습을 능가한다.

ABSTRACT

The composition of elementary behaviors to solve challenging transfer learning problems is one of the key elements in building intelligent machines. To date, there has been plenty of work on learning task-specific policies or skills but almost no focus on composing necessary, task-agnostic skills to find a solution to new problems. In this paper, we propose a novel deep reinforcement learning-based skill transfer and composition method that takes the agent's primitive policies to solve unseen tasks. We evaluate our method in difficult cases where training policy through standard reinforcement learning (RL) or even hierarchical RL is either not feasible or exhibits high sample complexity. We show that our method not only transfers skills to new problem settings but also solves the challenging environments requiring both task planning and motion control with high data efficiency.

연구 동기 및 목표

• 대부분의 방법이 작업에 특화된 정책을 학습하는 데 집중하는 반면, 사전에 학습된 작업에 종속되지 않는 기술을 재사용하거나 조합할 수 있는 일반화 가능한 기술 조합의 부족을 해결한다.
• 새로운, 알려지지 않은 작업으로의 효율적 전이를 가능하게 하기 위해 기존의 기본 정책을 재사용하여 다시 학습하는 대신 조합한다.
• 희박 보상 및 복잡한 운동 제어 환경에서 표준 및 계층적 RL의 높은 샘플 복잡성과 실패 모드를 극복한다.
• 상태, 목표, 기술 정보를 주의 메커니즘을 통해 통합하여 동적 정책 조합을 위한 구조적이고 종단 간 훈련 가능한 프레임워크를 설계한다.
• 작업 요구사항에 따라 기술을 동시에(AND 연산) 및 순차적으로(OR 연산) 조합할 수 있는 능력을 입증한다.

제안 방법

• 작업에 종속되지 않는 기본 정책의 고정된 집합을 잠재 상태로 통합하기 위해 이중 순환 신경망(BRNN) 인코더를 사용하여 시간적 및 순차적 의존성을 포착한다.
• 현재 상태와 목표 정보에 조건부로 작동하는 주의 메커니즘을 갖춘 전방향 신경망 디코더를 사용하여 인코딩된 기술 표현에 주의를 기울이며, 기술 조합을 위한 혼합 가중치를 예측한다.
• 예측된 혼합 가중치를 사용하여 기본 정책의 동작을 조합함으로써 맥락에 따라 동적으로 행동을 혼합할 수 있다.
• 표준 또는 계층적 강화학습을 통해 전체 모델을 종단 간 훈련시켜 기술 조합과 정책 실행을 함께 최적화한다.
• 학습된 주의 가중치를 통해 동시에(다중 활성 정책) 및 순차적으로(단계적 정책 활성화) 조합을 지원하도록 디코더를 구조화한다.
• 기본 정책은 사전 훈련되어 고정되어 있고, 오직 게이팅 메커니즘(혼합 가중치 예측기)만 새로운 작업에 대해 미세조정되므로 효율적 전이가 가능한 모듈러 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크가 사전 훈련된 작업에 종속되지 않는 기본 정책을 효과적으로 조합하여 새로운, 알려지지 않은 작업을 고효율로 해결할 수 있는가?
• RQ2 잠재 표현 또는 주의 메커니즘 없이 직접 혼합 가중치를 예측하는 것과 비교해 볼 때, 주의 기반 기술 조합은 어떻게 성능을 냈는가?
• RQ3 제안된 방법이 희박 보상 환경에서 운동 제어와 작업 계획이 모두 필요한 복잡한 작업을 어느 정도 처리할 수 있는가?
• RQ4 모델은 순차적 및 동시 기술 조합을 지원하는가? 그리고 이러한 기능은 주의 가중치의 동역학에 어떻게 반영되는가?
• RQ5 이 프레임워크는 다양한 환경에서 일반화할 수 있으며, 샘플 복잡성과 최종 성능에서 표준 및 계층적 RL 기준보다 뛰어나게 성능을 내는가?

주요 결과

• 제안된 방법은 Ant Random Goal, Cross Maze Ant, Pusher 환경에서 BRNN나 주의 기반 기술 없이 성능이 떨어지는 아블레이션 모델보다 뚜렷이 뛰어나며, 구조화된 잠재 표현과 주의의 필요성을 입증한다.
• 2D 다목적 점질량 환경에서 주의 가중치는 동시에 여러 기본 정책(예: 위, 오른쪽)을 활성화하여 목표지점으로 향하는 직접적인 비계단식 경로를 허용함으로써 동시 조합 기능을 확인한다.
• 표준 및 계층적 RL이 실패하거나 샘플 복잡성이 극도로 높은 복잡한 환경에서도 모델은 성공적으로 문제를 해결함으로써 희박 보상 설정에서의 강건성을 입증한다.
• 주의 시각화 결과는 소음이 존재하더라도 목표 방향과 일치하는 기본 정책에 더 높은 가중치를 할당함으로써 작업 인식 및 목표 조건 기반 조합을 확인한다.
• 아블레이션 연구는 기술 표현을 인코딩하지 않고 직접 혼합 가중치를 예측하는 방식(MCP)이 열악한 성능을 보임을 확인하며, BRNN를 통한 잠재 상태 모델링의 이점을 강조한다.
• 고정된 기본 정책을 재사용하고 오직 게이팅 네트워크만 미세조정함으로써 새로운 작업으로의 효과적 전이가 가능함을 입증하며, 강력한 일반화 및 높은 데이터 효율성을 보여준다.