[논문 리뷰] Classifying Options for Deep Reinforcement Learning

Kai Arulkumaran, Nat Dilokthanakul외 2명|arXiv (Cornell University)|2016. 04. 27.

Reinforcement Learning in Robotics참고 문헌 13인용 수 18

한 줄 요약

이 논문은 다중 '옵션 헤드'와 감독 네트워크를 사용하여 옵션 프레임워크를 딥 Q-네트워크(DQNs)에 통합함으로써 계층적 딥 강화학습 접근법을 제안한다. 음성 전이가 있는 작업에서 명시적인 옵션 헤드가 샘플 복잡도를 감소시키며, 모델 용량이 제한된 상황에서도 성능을 유지함을 입증한다.

ABSTRACT

In this paper we combine one method for hierarchical reinforcement learning - the options framework - with deep Q-networks (DQNs) through the use of different "option heads" on the policy network, and a supervisory network for choosing between the different options. We utilise our setup to investigate the effects of architectural constraints in subtasks with positive and negative transfer, across a range of network capacities. We empirically show that our augmented DQN has lower sample complexity when simultaneously learning subtasks with negative transfer, without degrading performance when learning subtasks with positive transfer.

연구 동기 및 목표

• 딥 강화학습에서 옵션을 명시적으로 구성하면 샘플 효율성과 일반화 능력 향상에 기여하는지 조사하기.
• 계층적 강화학습(옵션 프레임워크를 통한)의 아키텍처 제약이 딥 Q-네트워크에서 학습에 어떤 영향을 미치는지 탐색하기.
• 하나의 하위작업 분해 형태로 제공된 도메인 지식이 훈련 효율성과 성능에 어떤 영향을 미치는지 평가하기.
• 모델 용량이 다양한 수준일 때, 옵션 헤드가 있는 DQN의 성능을 표준 DQN 및 하프-DQN 기준선과 비교하기.
• 옵션 프레임워크에서 유도된 구조적 사전 지식이 다중 하위작업 학습에서 갈등이 있는 하위작업 간 간섭을 줄일 수 있는지 평가하기, 특히 하위작업 간 갈등이 발생할 경우에 중점적으로

제안 방법

• 표준 DQN을 확장하여 공유된 합성곱 레이어 위에 각각 다른 하위작업을 담당하는 다수의 옵션 헤드를 추가한다.
• 추론 중 각 상태에서 어떤 옵션(하위작업)이 선택되어야 할지를 예측하기 위해 감독 네트워크를 도입한다.
• 각 옵션 헤드는 자체 하위작업에 대해 별도의 Q-함수를 학습하며, 합성곱 기반 구조를 통해 공유된 특징을 추출한다.
• 각 헤드의 Q-학습 손실과 감독 네트워크의 교차 엔트로피 손실을 포함하는 복합 손실을 사용하여 네트워크를 훈련시킨다.
• 에이전트가 색깔이 다른 공을 잡거나 피하는 것을 목표로 하는 커스터마이징된 환경에서 접근법을 평가한다. 이는 양성 또는 음성 전이를 가지는 하위작업을 나타낸다.
• 모델 용량을 체계적으로 변화시켜 성능에 미치는 영향을 연구하며, 표준 DQN, 하프-DQN, 그리고 제안된 옵션 헤드가 있는 DQN 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 옵션 헤드를 통한 하위작업의 명시적 구조화가 딥 강화학습에서 샘플 효율성을 향상시키는가?
• RQ2 하위작업 간 음성 전이가 존재할 경우, 표준 DQN과 옵션 헤드가 있는 DQN 간 학습에 어떤 영향을 미치는가?
• RQ3 모델 용량이 표준 DQN과 옵션 구조가 있는 DQN 간 성능 격차에 얼마나 큰 영향을 미치는가?
• RQ4 옵션 프레임워크에서 유도된 아키텍처 제약이 갈등이 있는 하위작업 간 간섭을 줄일 수 있는가, 동시에 호환 가능한 하위작업에서는 성능 저하 없이 작동하는가?
• RQ5 감독 네트워크가 옵션을 효과적으로 할당하는 능력이 올바르게 학습되었는가, 그리고 이는 정책 수렴 속도를 높이는 데 기여하는가?

주요 결과

• 음성 전이가 있는 하위작업을 학습할 때, 옵션 헤드가 있는 DQN은 저용량 모델 조건에서도 표준 DQN보다 유의미하게 낮은 샘플 복잡도를 달성한다.
• 양성 전이 설정에서는 옵션 헤드가 있는 DQN의 성능이 표준 DQN과 유사하여, 아키텍처 변경에도 불구하고 성능 저하가 없음을 보여준다.
• 모델 용량이 증가함에 따라 옵션 헤드가 있는 DQN과 표준 DQN 간 성능 격차가 점점 줄어들며, 이는 용량이 결국 아키텍처적 제약을 상쇄함을 시사한다.
• 하프-DQN 기준선(헤드 용량의 절반)은 전체 DQN에 옵션 헤드가 있는 경우와 동일한 정책 성능에 도달하지만 더 많은 학습 단계가 필요하여, 구조적 사전 지식이 학습 효율성을 향상시킴을 확인한다.
• 공유된 합성곱 레이어는 일반적인 특징(예: 공의 운동, 패드 위치)을 학습하는 반면, 각 옵션 헤드는 특정하게 공을 잡거나 피하는 데 전문화되어 있어, 효과적인 특징 및 정책 분리가 이루어졌음을 나타낸다.
• 감독 네트워크는 상태를 적절한 옵션으로 분류하는 데 매우 빠르게 학습되며, 오라클 없이도 이 작업이 간단하고 잘 학습된다는 것을 시사한다.