[논문 리뷰] Of Moments and Matching: Trade-offs and Treatments in Imitation Learning.

Gokul Swamy, Sanjiban Choudhury외 2명|arXiv (Cornell University)|2021. 03. 04.

Reinforcement Learning in Robotics참고 문헌 26인용 수 2

한 줄 요약

이 논문은 전문가 행동의 보상 또는 행동가치 모멘트를 매칭하는 방식으로 유사 학습 알고리즘을 분류함으로써 유일한 프레임워크를 제안한다. 이는 이론적 성능 경계와 강력한 실험적 성과를 보이는 두 가지 새로운 알고리즘, AdVIL과 AdRIL을 제안하며, 오차 누적 완화 분석을 위해 복구 가능성(recoverability) 개념을 도입한다.

ABSTRACT

We provide a unifying view of a large family of previous imitation learning algorithms through the lens of moment matching. At its core, our classification scheme is based on whether the learner attempts to match (1) reward or (2) action-value moments of the expert's behavior, with each option leading to differing algorithmic approaches. By considering adversarially chosen divergences between learner and expert behavior, we are able to derive bounds on policy performance that apply for all algorithms in each of these classes, the first to our knowledge. We also introduce the notion of recoverability, implicit in many previous analyses of imitation learning, which allows us to cleanly delineate how well each algorithmic family is able to mitigate compounding errors. We derive two novel algorithm templates, AdVIL and AdRIL, with strong guarantees, simple implementation, and competitive empirical performance.

연구 동기 및 목표

• 모멘트 매칭의 관점에서 넓은 범위의 유사 학습 알고리즘을 통합하기 위해.
• 정책 학습에서 보상 모멘트와 행동가치 모멘트를 매칭할 때의 상호 상충 관계를 분석하기 위해.
• 각 모멘트 매칭 클래스에 속하는 모든 알고리즘에 적용 가능한 일반적인 성능 경계를 유도하기 위해.
• 오차 누적 완화를 평가하기 위해 복구 가능성의 개념을 정식화하기 위해.
• 강력한 이론적 보장과 실용적 성능을 갖춘 새로운 알고리즘 템플릿인 AdVIL과 AdRIL을 개발하기 위해.

제안 방법

• 전문가 행동의 보상 모멘트 또는 행동가치 모멘트를 매칭하는지에 따라 유사 학습 알고리즘을 분류하기 위해.
• 전문가 정책과 학습자 정책 간의 적대적으로 선택된 발산을 사용하여 일반적인 성능 경계를 도출하기 위해.
• 오차 누적 완화 능력을 평가하기 위해 복구 가능성 개념을 도입하기 위해.
• 모멘트 매칭 기반으로 새로운 알고리즘 템플릿인 AdVIL(적대적 유사 학습)과 AdRIL(적대적 보상 유사 학습)을 설계하기 위해.
• 이론적 보장을 갖춘 성능 최적화를 위한 모멘트 매칭 목표 함수로 알고리즘을 수립하기 위해.
• 구조화된 최적화 목표를 통해 간단한 구현과 경쟁 가능한 실험 성능를 확보하기 위해.

실험 결과

연구 질문

• RQ1 모멘트 매칭의 관점에서 유사 학습 알고리즘을 분류했을 때, 서로 다른 알고리즘 간의 비교는 어떻게 이루어지는가?
• RQ2 보상 모멘트와 행동가치 모멘트를 매칭하는 알고리즘의 이론적 성능 경계는 무엇인가?
• RQ3 복구 가능성 개념은 유사 학습 알고리즘이 오차 누적을 어떻게 완화하는지에 영향을 미치는가?
• RQ4 강력한 이론적 보장과 실용적 성능를 동시에 갖춘 새로운 알고리즘 템플릿을 유도할 수 있는가?
• RQ5 적대적 발산 선택은 유사 학습에서 정책 성능 경계에 어떤 영향을 미치는가?

주요 결과

• 논문은 두 가지 모멘트 매칭 클래스인 보상 모멘트 매칭과 행동가치 모멘트 매칭에 속하는 모든 알고리즘에 적용 가능한 최초의 일반적인 성능 경계를 확립한다.
• 복구 가능성은 정식으로 정의되었으며, 유사 학습에서 오차 누적 완화 능력을 평가하는 청결한 지표로 기능함을 입증한다.
• AdVIL과 AdRIL은 강력한 이론적 보장과 경쟁 가능한 실험 성능를 갖춘 새로운 알고리즘 템플릿으로 도입된다.
• 이론적 분석을 통해 모멘트 매칭 접근법이 선택된 발산과 복구 가능성 특성에 따라 성능 경계에 영향을 미침을 밝혀낸다.
• 이 프레임워크를 통해 모멘트 매칭 목표 기반의 통합 분류에 따라 기존 알고리즘을 체계적으로 비교할 수 있다.
• 실험 결과는 AdVIL과 AdRIL이 단순한 구현을 유지하면서도 경쟁 가능한 성능를 달성함을 보여준다.