[논문 리뷰] Reinforcement and Imitation Learning via Interactive No-Regret Learning

Stéphane Ross, J. Andrew Bagnell|arXiv (Cornell University)|2014. 06. 23.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 118

한 줄 요약

이 논문은 비용에서 도달할 때까지의 비용 정보를 상호작용적 정책 학습에 통합함으로써 복습 학습과 강화 학습을 통합하는 no-regret 온라인 학습 프레임워크인 AggreVaTe를 소개한다. DAgger 방식의 방법을 비용 민감도 학습으로 확장하여, 누적 불만 최소화를 통한 더 강력한 이론적 보장과 정책 안정성을 제공하며, 복습 학습과 근사 정책 반복에 모두 적용 가능하다.

ABSTRACT

Recent work has demonstrated that problems-- particularly imitation learning and structured prediction-- where a learner's predictions influence the input-distribution it is tested on can be naturally addressed by an interactive approach and analyzed using no-regret online learning. These approaches to imitation learning, however, neither require nor benefit from information about the cost of actions. We extend existing results in two directions: first, we develop an interactive imitation learning approach that leverages cost information; second, we extend the technique to address reinforcement learning. The results provide theoretical support to the commonly observed successes of online approximate policy iteration. Our approach suggests a broad new family of algorithms and provides a unifying view of existing techniques for imitation and reinforcement learning.

연구 동기 및 목표

• 기존 복습 학습 방법이 도달 비용 정보를 忽시하여 고비용 상황(예: 절벽에서 떨어지는 것)에서 최적화되지 않은 정책을 초래하는 한계를 해결한다.
• 일반적으로 수렴 보장이 없는 배치 방법에 비해 성능이 뛰어나지만 이론적으로 안정성에 의문을 제기하는 온라인 근사 정책 반복의 경험적 성공에 대한 이론적 기반을 제공한다.
• 비용 민감도 피드백을 활용하는 단일 no-regret 학습 프레임워크로 기존의 복습 학습 및 강화 학습 기법들을 통합한다.
• 강력한 이론적 안정성과 성능 보장을 갖춘 새로운 알고리즘인 NRPI(No-Regret Policy Iteration)를 개발한다.
• 도달 비용 추정치, 심지어 근사된 것이라도 상호작용 학습 환경에서 정책의 일반화 및 내구성을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 상호작용적 복습 학습 알고리즘인 AggreVaTe를 제안하며, 수집된 학습 예제 $(s, t, a, Q)$에서 $Q$는 상태 $s$에서 시간 $t$에 행동 $a$를 취한 후 전문가의 도달 비용이다.
• 전문가 행동에 대한 0-1 분류 손실을 최소화하는 대신, 수집된 데이터셋에서 도달 비용의 기대값을 최소화하는 정책 $ ilde{ au}$를 학습한다.
• 누적 불만이 시간이 지남에 따라 다항식 이하로 증가하도록 보장하기 위해 온라인 no-regret 학습 알고리즘(예: 온라인 Frank-Wolfe)을 반복적으로 적용하여 정책을 향상시킨다.
• 동일한 비용 민감도 학습 메커니즘을 사용하여 안정성과 성능 보장을 보장하는 동일한 비용 민감도 학습 메커니즘을 사용하는 NRPI라는 no-regret 정책 반복 알고리즘을 도입함으로써 프레임워크를 강화 학습으로 확장한다.
• 시간 평균 상태 분포 $d_ au^t$와 비용 함수 $C(s,a) \in [0,1]$를 사용하여 성능 지표와 불만 경계를 정의한다.
• 알고리즘의 통계적 불만 경계가 오차 감소 보장보다 더 강력한 이론적 보장을 제공함을 입증하며, 전통적 방법보다 더 강력한 성능 보장을 제공함을 보여준다.

실험 결과

연구 질문

• RQ1 상호작용적 복습 학습에 도달 비용 정보를 통합함으로써 전문가 행동을 단지 모방하는 방법에 비해 정책 성능과 내구성을 향상시킬 수 있는가?
• RQ2 온라인 근사 정책 반복 방법은 이론적으로 불안정성이 있음에도 불구하고 실무에서 왜 배치 방법보다 더 잘 작동하는가?
• RQ3 no-regret 온라인 학습 기반의 통합 프레임워크를 통해 복습 학습과 강화 학습을 모두 수용할 수 있는가?
• RQ4 비용 민감도 no-regret 학습은 안정적이고 이론적으로 탄탄한 강화 학습 알고리즘을 유도하는 데 어떻게 활용될 수 있는가?
• RQ5 최근 정책 뿐 아니라 이전의 여러 정책을 사용하여 학습할 경우 수렴성과 안정성 향상에 어떤 실용적 영향을 미치는가?

주요 결과

• AggreVaTe는 오차 감소 보장보다 더 강력한 통계적 불만 경계를 확보하여 상호작용적 복습 학습에 더 견고한 이론적 기반을 제공한다.
• 이 방법은 전문가 행동이 모호한 경우에도 도달 비용 추정치(예: 전문가 롤아웃 또는 히우리스틱)를 사용함으로써 위험하거나 고비용 정책의 학습을 방지함을 입증한다.
• 강화 학습으로의 확장인 NRPI는 문헌에서 가장 강력한 기존 결과들과 비교해 이론적 보장을 제공하며, 시간에 따른 불만 기반으로 성능가 한정된다.
• 이론적 분석을 통해 탐색 분포 $ u_{1:T}$가 최적 정책의 상태 분포로 수렴하면 AggreVaTe가 $ ilde{ au}$에서 최적 정책로 수렴함을 보장한다.
• 실험 결과는 최근 정책 뿐 아니라 이전의 여러 정책을 사용하여 학습할 경우 진동과 발산을 감소시키며 근사 동적 프로그래밍에서 안정성을 향상시킴을 시사한다.
• 전문가 롤아웃을 도달 비용 추정치로 사용하는 히우리스틱 방법인 SEARN의 성공을 AggreVaTe의 특수한 경우로 설명할 수 있다.