[논문 리뷰] What Matters for Adversarial Imitation Learning?

Manu Orsini, Anton Raichuk외 8명|arXiv (Cornell University)|2021. 06. 01.

Reinforcement Learning in Robotics참고 문헌 49인용 수 18

한 줄 요약

이 논문은 10개의 연속 제어 작업에서 50만 명 이상의 적대적 복제 학습(AIL) 에이전트를 대규모로 실험하여 알고리즘 선택과 시연 유형의 영향을 평가한다. 연구 결과 인간 시범이 합성 시범과 본질적으로 다름을 밝혀내며, 일반적으로 사용되는 기술(예: 특정 디세이미네이터 정규화 기법)이 일반화되지 않을 수 있음을 시사하여 이전 AIL 연구의 가정을 도전한다.

ABSTRACT

Adversarial imitation learning has become a popular framework for imitation in continuous control. Over the years, several variations of its components were proposed to enhance the performance of the learned policies as well as the sample complexity of the algorithm. In practice, these choices are rarely tested all together in rigorous empirical studies. It is therefore difficult to discuss and understand what choices, among the high-level algorithmic options as well as low-level implementation details, matter. To tackle this issue, we implement more than 50 of these choices in a generic adversarial imitation learning framework and investigate their impacts in a large-scale study (>500k trained agents) with both synthetic and human-generated demonstrations. While many of our findings confirm common practices, some of them are surprising or even contradict prior work. In particular, our results suggest that artificial demonstrations are not a good proxy for human data and that the very common practice of evaluating imitation algorithms only with synthetic demonstrations may lead to algorithms which perform poorly in the more realistic scenarios with human demonstrations.

연구 동기 및 목표

• 적대적 복제 학습(AIL)에서 수백 가지의 하이퍼파라미터 및 아키텍처 선택의 영향을 통제된 대규모 환경에서 체계적으로 평가하기 위해.
• 합성 시범이 AIL 평가에서 인간 시범의 유효한 대체 자료로 사용될 수 있는지 조사하기 위해.
• 정책 성능 및 샘플 효율성에 가장 큰 영향을 미치는 알고리즘 구성 요소(예: 강화학습 알고리즘, 디세이미네이터 정규화 기법, 학습 비율)를 규명하기 위해.
• 실제 환경에서 새로운 AIL 알고리즘을 설계하고 평가하기 위한 실용적이고 데이터 기반의 권고 사항을 제공하기 위해.
• 합성 시범에서만 평가하는 이전 연구의 한계를 폭 드러내어, 알고리즘 설계 및 성능 평가에 오해를 낳을 수 있음을 밝히기 위해.

제안 방법

• 4개의 강화학습 알고리즘, 7개의 디세이미네이터 정규화 기법, 50개 이상의 하이퍼파라미터를 지원하는 고도로 구성 가능한 일반적인 AIL 프레임워크를 구현하였다.
• OpenAI Gym과 Adroit 환경을 포함한 10개의 연속 제어 환경에서 50만 개 이상의 에이전트를 학습한 대규모 실험 연구를 수행하였다.
• 합성 시범(학습된 강화학습 에이전트에서 유도)과 인간이 생성한 시범을 모두 사용하여 데이터 소스 간 일반화 성능을 평가하였다.
• 표준화된 성능 메트릭을 사용: 최종 에피소드 수익과 학습 중 평균 수익, 하이퍼파라미터 설정 간 분위수 분석을 통한 정량적 분석.
• 배치 크기, 리play 비율, 디세이미네이터 업데이트 대 강화학습 업데이트 비율, 병합 배치 수 등 핵심 하이퍼파라미터에 대한 아블레이션 연구를 수행하였다.
• 조건부 성능 분위수와 최고 성능 설정의 분포 분석을 통해 영향력 있는 요인을 고립하였다.

실험 결과

연구 질문

• RQ1 AIL에서 어떤 하이퍼파라미터 선택이 최종 정책 성능과 샘플 효율성에 가장 큰 영향을 미치는가?
• RQ2 다양한 환경과 시범 유형에서, 예를 들어 기울기 페널티, 가중치 감소, 드롭아웃 등의 디세이미네이터 정규화 기법 간 성능 비교는 어떻게 되는가?
• RQ3 합성 시범이 인간이 생성한 시범의 행동과 과제를 어느 정도 정확하게 반영하는가?
• RQ4 합성 시범과 인간 시범 간에 알고리즘 선택(예: 온폴리시 또는 오프폴리시, 보상 형태 설계)의 상대적 성능는 어떻게 달라지는가?
• RQ5 다양한 작업에서 복제 성능를 최대화하기 위해 배치 크기, 리play 비율, 업데이트 비율 등의 학습 하이퍼파라미터를 어떻게 최적화해야 하는가?

주요 결과

• 일반적으로 사용되는 디세이미네이터 정규화 기법(예: 기울기 페널티)이 가중치 감소나 드롭아웃과 같은 단순한 지도학습 기법보다 항상 뛰어나지 않으며, 특히 쉬운 환경에서는 더욱 두드러진다.
• 더 쉬운 환경에서는 명시적 디세이미네이터 정규화가 종종 불필요하다. 정규화 없이도 강력한 성능을 낼 수 있다.
• 모든 AIL 설정에서 인간 시범은 합성 시범보다 유의미하게 낮은 성능를 보이며, 이는 본질적인 분포 이격을 시사한다.
• 알고리즘 선택(예: 강화학습 알고리즘, 정규화 기법)의 상대적 성능는 시범의 소스에 크게 의존한다. 합성 데이터에서의 결과는 인간 데이터로 일반화되지 않는다.
• 합성 시범에서 최고 성능를 보였던 설정은 인간 시범에서는 종종 실패한다. 이는 합성 데이터에서만 평가하는 것이 알고리즘의 강건성에 대한 잘못된 결론을 이끌 수 있음을 시사한다.
• 배치 크기, 리play 비율, 디세이미네이터 대 강화학습 업데이트 비율 등의 하이퍼파라미터는 성능에 강력하고 비단조화적인 영향을 미치며, 최적 값은 환경과 시범 유형에 따라 달라진다.