[논문 리뷰] Hyperparameter Selection for Imitation Learning

Léonard Hussenot, Marcin Andrychowicz외 12명|arXiv (Cornell University)|2021. 05. 25.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 진정한 환경 보상이 가용하지 않은 실제 IL 설정에서 일반적으로 사용되는 진정한 환경 보상에 의존하여 초모수(HPs)를 튜닝하는 데서 비롯하는 임itation 학습(IL)의 핵심적 간극을 다룹니다. 저자들은 진정한 보상을 접근할 수 없더라도 사용할 수 있는 프록시 지표, 예를 들어 행동 MSE와 상태 분포 차이를 제안하고 실험적으로 평가하여, 이러한 프록시 지표가 단순한 알고리즘인 행동 복제(BC)를 포함하여 다양한 환경 간에 효과적인 HP 튜닝과 전이를 가능하게 한다는 것을 보여줍니다.

ABSTRACT

We address the issue of tuning hyperparameters (HPs) for imitation learning algorithms in the context of continuous-control, when the underlying reward function of the demonstrating expert cannot be observed at any time. The vast literature in imitation learning mostly considers this reward function to be available for HP selection, but this is not a realistic setting. Indeed, would this reward function be available, it could then directly be used for policy training and imitation would not be necessary. To tackle this mostly ignored problem, we propose a number of possible proxies to the external reward. We evaluate them in an extensive empirical study (more than 10'000 agents across 9 environments) and make practical recommendations for selecting HPs. Our results show that while imitation learning algorithms are sensitive to HP choices, it is often possible to select good enough HPs through a proxy to the reward function.

연구 동기 및 목표

• 진정한 환경 보상이 알려져 있지 않거나 접근할 수 없는 상황에서 이민 학습의 초모수 선택 문제를 해결하기 위해.
• 진정한 보상의 대체로 사용 가능한 프록시 지표—예를 들어 행동 MSE와 상태 분포 차이—가 초모수 튜닝에 얼마나 효과적인지 평가하기 위해.
• 특히 보상 함수가 가용하지 않은 상황에서, 다양한 환경과 과제 간에 초모수의 전이 가능성에 대해 조사하기 위해.
• 전문가 시범이 제공되지만 보상 신호가 없는 현실적인 설정에서 IL 알고리즘의 튜닝을 위한 실용적 권고를 제공하기 위해.
• 진정한 보상에 의존하지 않고도 실제 배포 환경의 제약 조건에 부합하는 새로운 IL 평가 프로토콜을 수립하기 위해.

제안 방법

• 에이전트와 전문가의 행동 간 평균 제곱 오차(MSE)와 에이전트 및 전문가 궤적 간 상태 분포 차이를 포함한 여러 프록시 지표를 제안하고 평가합니다.
• 오프라인 검증 세트를 사용하여 프록시 지표를 계산함으로써, 환경 상호작용 없이도 초모수 튜닝이 가능하게 하며, 특히 행동 복제(BC)에 초점을 맞춥니다.
• 9개의 연속 제어 환경(OpenAI Gym 및 Adroit에서 유래)을 대상으로 대규모 초모수 스윕을 수행하여 10,000개 이상의 에이전트를 훈련시어 초모수 민감도와 전이 가능성 평가를 수행합니다.
• 보상이 가용한 환경에서 튜닝한 초모수를 보상이 없는 환경으로 전이하는 방식을 조사하며, BC, AIL, PWIL 등의 알고리즘 패밀리 간 성능을 비교합니다.
• 프록시 지표 기반 조기 정지 기법을 도입하여 초모수 튜닝 과정에서 일반화 성능 향상과 과적합 방지를 도모합니다.
• 진정한 환경 수익을 사용하는 표준 절차와 비교하여 프록시 기반 초모수 선택의 성능을 평가하며, 진정한 보상이 가용하지 않을 경우 발생하는 성능 격차를 분석합니다.

실험 결과

연구 질문

• RQ1 행동 MSE나 상태 분포 차이와 같은 프록시 지표가 이민 학습의 초모수 튜닝에서 진정한 환경 보상의 대체로 효과적으로 기능할 수 있는가?
• RQ2 특히 진정한 보상이 존재하지 않는 상황에서, 프록시 지표를 사용하여 초모수를 선택할 경우와 진정한 보상을 사용할 경우의 IL 알고리즘 성능는 어떻게 다를까?
• RQ3 한 환경에서 학습한 초모수는 얼마나 잘 다른 환경으로 전이될 수 있는가? 특히 목표 환경에서 보상 함수가 가용하지 않은 경우에 대해 어떻게 되는가?
• RQ4 프록시 지표의 선택은 다양한 과제와 알고리즘 유형 간 최종 정책의 일반화성과 강건성에 어떤 영향을 미치는가?
• RQ5 어느 IL 알고리즘이 더 뛰어난 초모수 전이 가능성을 보이며, 어떤 요소(예: 과제 난이도, 알고리즘 복잡성)가 이를 영향을 미치는가?

주요 결과

• IL 알고리즘은 초모수 설정에 매우 민감하며, 진정한 보상이 가용하지 않은 환경에서 이를 사용해 초모수를 튜닝할 경우 성능이 크게 떨어집니다.
• 행동 MSE와 상태 분포 차이는 초모수 튜닝을 위한 효과적인 프록시 지표로 기능하며, 진정한 보상으로 얻는 성능에 근접한 결과를 도출합니다.
• 초모수 전이는 동일한 환경 스위트 내에서(예: 한 Gym 환경에서 다른 Gym 환경으로)보다는 서로 다른 스위트 간(예: Gym에서 Adroit로) 전이가 더 어려운 편이지만, 많은 경우에 성공적으로 이루어집니다.
• 행동 복제(BC)는 AIL 및 PWIL과 같은 더 복잡한 알고리즘에 비해 초모수 전이 가능성이 뛰어나며, 이는 더 단순한 지도 학습 목표 덕분으로 보입니다.
• Humanoid와 relocate와 같은 두 가지 가장 어려운 과제에서 초모수 전이 성능이 가장 열 劣하며, 이는 과제 난이도가 전이 가능성에 부정적인 영향을 미친다는 것을 시사합니다.
• 초모수 튜닝 과정에서 검증 세트의 지표(예: 행동 MSE)를 활용하면 과적합을 방지하고 일반화 성능을 향상시켜 특히 고차원 제어 환경에서 유의미한 효과를 보입니다.