[논문 리뷰] Privileged Information Dropout in Reinforcement Learning

Pierre-Alexandre Kamienny, Kai Arulkumaran외 3명|arXiv (Cornell University)|2020. 05. 19.

Reinforcement Learning in Robotics참고 문헌 26인용 수 7

한 줄 요약

이 논문은 강화학습에서 사전 정보(PI)를 노이즈 조절에 기반한 조건부 노이즈를 사용해 에이전트 입력에 주입함으로써 표본 효율성과 성능을 햖थ하는 Privileged Information Dropout (PI-Dropout)를 제안한다. 부분 관측 환경에서 PI-Dropout은 디스티illation과 보조 작업을 능가하며, 전체 상태 및 하위목표와 같은 다양한 유형의 PI에 대해 일반화되면서 오라클 성능에 가까운 성능을 달성한다.

ABSTRACT

Using privileged information during training can improve the sample efficiency and performance of machine learning systems. This paradigm has been applied to reinforcement learning (RL), primarily in the form of distillation or auxiliary tasks, and less commonly in the form of augmenting the inputs of agents. In this work, we investigate Privileged Information Dropout (\pid) for achieving the latter which can be applied equally to value-based and policy-based RL algorithms. Within a simple partially-observed environment, we demonstrate that \pid outperforms alternatives for leveraging privileged information, including distillation and auxiliary tasks, and can successfully utilise different types of privileged information. Finally, we analyse its effect on the learned representations.

연구 동기 및 목표

• 학습 중 사전 정보(PI)를 활용하여 강화학습의 표본 효율성과 성능을 향상시키는 것.
• 디스티illation이나 보조 작업이 아닌, PI를 입력 특징으로 사용하는 새로운 패러다임을 탐색하는 것.
• 정보 버블링 이론에서 유도된 PI-Dropout이 강화학습에서 표현 학습과 일반화를 향상시키는지 평가하는 것.
• 기존의 PI 기반 방법(예: 디스티illation, 보조 예측 작업)과 비교하여 PI-Dropout의 성능을 평가하는 것.
• PI-Dropout이 부분 관측 환경에서 학습된 표현과 에이전트 행동에 미치는 영향을 분석하는 것.

제안 방법

• PI-Dropout은 표현에 적용되는 드롭아웃 노이즈의 분산이 주 입력 $\mathbf{x}$ 가 아니라 사전 정보 입력 특징 $\mathbf{x}^*$ 에 조건화된 노이즈 조절 메커니즘을 사용한다.
• 표현 $\mathbf{z}$ 는 $\mathbf{z} = h(\mathbf{x};W) \odot \text{Lognormal}(\mathbf{0}, h^*(\mathbf{x}^*;W^*))$ 로 계산되며, 여기서 $h^*$ 는 PI를 노이즈 분산으로 매핑한다.
• 이 방법은 정보 버블링 이론에 기반하며, 입력 $\mathbf{x}$ 와 표현 $\mathbf{z}$ 간의 상관정보를 최소화하면서도 작업에 관련된 정보는 유지한다.
• 추론 시에는 PI 서브넷이 비활성화되고 노이즈 분산이 0으로 설정되어 $\mathbf{x}^*$ 가 제거되어 배포 시의 강건성을 확보한다.
• 이 방법은 A3C, PPO, DRQN과 같은 가치 기반 및 정책 기반 강화학습 알고리즘 모두와 호환된다.
• PI-Dropout은 그리드 월드 내비게이션 작업에서 디스티illation, 보조 예측, 표준 정보 드롭아웃과 같은 베이스라인과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 PI-Dropout은 사전 정보를 활용하는 데 있어 디스티illation 및 보조 작업 방법을 능가할 수 있는가?
• RQ2 PI-Dropout은 전체 상태 및 하위목표와 같은 다양한 종류의 사전 정보 유형에 대해 일반화되는가?
• RQ3 PI-Dropout의 성능 향상은 PI의 사용 덕분인가, 아니면 단지 드롭아웃 정규화의 부작용인가?
• RQ4 PI-Dropout은 에이전트 내부 상태의 표현 능력, 특히 위치 복원 가능성 측면에서 어떤 영향을 미치는가?
• RQ5 PI-Dropout은 탐색을 향상시키거나 다른 탐색 향상 기법과 조합될 수 있는가?

주요 결과

• PI-Dropout은 디스티illation, 보조 작업, 표준 정보 드롭아웃을 모두 능가하며, 부분 관측 내비게이션 작업에서 오라클 에이전트에 가장 가까운 성능을 달성한다.
• 기타 베이스라인들이 왼쪽 끝 방에서 실패하는 동안 PI-Dropout 에이전트는 모든 초기 위치에서 과제를 성공적으로 해결한다.
• 하위목표 PI를 사용한 PI-D[5x5,SG] 에이전트가 전체 상태 PI 버전과 유사한 성능을 달성함으로써, 다양한 PI 유형에 걸쳐 일반화됨을 입증한다.
• 표준 정보 드롭아웃(I-D[5x5,5x5])에 대한 분석을 통해 PI-Dropout의 성능 향상이 단지 드롭아웃 정규화 때문이 아니라 PI의 사용 덕분임을 확인한다.
• GRU 활성화에 기반한 선형 분류기 분석 결과, PI-Dropout은 에이전트 위치의 선형 복원 가능성에 큰 향상이 없음을 보여주며, 기준 DRQN(90.1%) 대비 88.8%의 정확도를 기록함으로써, 작업 성공이 반드시 선형 분리 가능한 표현을 요구하지는 않음을 시사한다.
• PI-Dropout은 빠른 수렴과 일관된 성능을 보이며, 랜덤 시드에 관계없이 안정적인 학습과 높은 표본 효율성을 보여준다.