[논문 리뷰] Reinforcement Learning with Automated Auxiliary Loss Search

Tairan He, Yuge Zhang외 6명|arXiv (Cornell University)|2022. 10. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 강화학습을 위한 최적의 표현을 자동으로 발견하기 위해 광범위한 보조 손실 함수 공간에서 진화적 탐색을 사용하는 자동 보조 손실 탐색(A2LS)을 제안한다. A2LS는 이미지 기반, 벡터 기반, 부분 관측 가능한 환경 및 아케이드 게임까지 다양한 작업에서 최신 기술 수준의 성능을 달성하며, 수작업 기반 기준을 뛰어넘는 강력한 일반화 능력과 샘플 효율성을 입증한다.

ABSTRACT

A good state representation is crucial to solving complicated reinforcement learning (RL) challenges. Many recent works focus on designing auxiliary losses for learning informative representations. Unfortunately, these handcrafted objectives rely heavily on expert knowledge and may be sub-optimal. In this paper, we propose a principled and universal method for learning better representations with auxiliary loss functions, named Automated Auxiliary Loss Search (A2LS), which automatically searches for top-performing auxiliary loss functions for RL. Specifically, based on the collected trajectory data, we define a general auxiliary loss space of size $7.5 imes 10^{20}$ and explore the space with an efficient evolutionary search strategy. Empirical results show that the discovered auxiliary loss (namely, A2-winner) significantly improves the performance on both high-dimensional (image) and low-dimensional (vector) unseen tasks with much higher efficiency, showing promising generalization ability to different settings and even different benchmark domains. We conduct a statistical analysis to reveal the relations between patterns of auxiliary losses and RL performance.

연구 동기 및 목표

• 최종 강화학습 성능와 일치하지 않을 수 있는 전문가 직관에 의존하는 수작업 기반 보조 손실의 열악한 성능을 해결하기 위해.
• 상태 표현 학습을 향상시키는 고성능 보조 손실 함수를 자동으로 탐색하는 통합적이고 자동화된 방법을 개발하기 위해.
• 다양한 강화학습 설정, 즉 다른 관측 모odalities, 네트워크 아키텍처, 벤치마크 도메인에서 탐색된 손실의 일반화 능력을 평가하기 위해.
• 전체 탐색 과정을 분석하여 보조 손실 구조와 강화학습 성능 간의 통계적 패턴을 밝혀내기 위해.

제안 방법

• A2LS는 보조 손실 탐색을 이중 최적화 문제로 정식화한다: 외부 루프는 진화 알고리즘을 사용해 최적의 보조 손실을 탐색하고, 내부 루프는 후보 손실을 사용해 강화학습 에이전트를 훈련시킨다.
• 이 방법은 궤적 데이터에서 유도된 다양한 보조 손실 구성 요소를 포함하는 $7.5 \times 10^{20}$ 크기의 포괄적인 탐색 공간을 정의한다.
• 진화적 탐색은 작은 수의 시뮬레이션 환경(DepthMind Control Suite)에서 수행되어 최고 성능을 보인 손실, 즉 A2-winner를 탐색한다.
• 발견된 A2-winner 손실은 고차원(이미지) 및 저차원(벡터) 관측, 부분 관측 가능 및 이산 제어 설정을 포함한 미사용된 작업에서 평가된다.
• 보조 손실 패턴과 강화학습 성능 간의 상관관계를 분석하기 위해 전체 진화적 탐색 궤적에 대한 통계 분석을 수행한다.

실험 결과

연구 질문

• RQ1 자동화된 방법이 강화학습에서 수작업 설계된 손실보다 뚜렷이 뛰어난 보조 손실 함수를 탐색할 수 있는가?
• RQ2 발견된 보조 손실이 다양한 관측 모달리티(예: 이미지 대비 벡터)와 강화학습 환경 간에 일반화되는가?
• RQ3 보조 손실의 어떤 구조적 패턴이 강화학습 성능 향상과 관련이 있으며, 이러한 패턴을 체계적으로 식별할 수 있는가?
• RQ4 A2-winner 손실의 성능가 강력한 기준 모델들(예: 내재적 호기심, 예측 기반 손실, 표준 보조 목표)과 비교해 다양한 강화학습 벤치마크, 특히 아케이드 게임에서 어떻게 나타나는가?

주요 결과

• 자동 탐색을 통해 발견된 A2-winner 손실은 고차원(이미지) 및 저차원(벡터) 강화학습 작업 모두에서 샘플 효율성과 최종 성능을 뚜렷이 향상시킨다.
• 이 방법은 다양한 로봇이 포함된 연속 제어 환경, 부분 관측 가능 설정, 심지어 아케이드 2600 게임의 이산 제어 도메인까지도 효과적으로 일반화된다.
• 모든 평가된 벤치마크에서 내재적 호기심, 예측 기반 손실, 표준 보조 목표와 같은 강력한 기준 모델보다 A2-winner 손실이 뛰어난 성능을 보인다.
• 통계 분석을 통해 시간적 일관성과 다단계 예측 패턴을 강조하는 손실 함수가 높은 강화학습 성능과 강하게 상관됨을 확인했다.