[논문 리뷰] A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning

Stéphane Ross, Geoffrey J. Gordon외 1명|arXiv (Cornell University)|2010. 11. 02.

Advanced Bandit Algorithms Research인용 수 840

한 줄 요약

이 논문은 유사한 반복적 알고리즘인 DAGGER를 제안하며, 암시적 학습과 구조적 예측을 무회귀 온라인 학습으로 환원함으로써, 강력한 이론적 보장을 갖춘 정적 결정적 정책의 훈련을 가능하게 한다. 현재 정책에 의해 유도된 상태에서 전문가의 시범 데이터를 반복적으로 수집함으로써, 오차가 시간에 따라 선형적으로 증가하는 것을 보장하며, 이는 SMILe와 SEARN과 같은 이전 방법들보다 로봇 공학 및 OCR 벤치마크에서 더 뛰어난 안정성과 샘플 효율성으로 인해 암시적 학습 및 시퀀스 레이블링 과제에서 뛰어난 성능을 보인다.

ABSTRACT

Sequential prediction problems such as imitation learning, where future observations depend on previous predictions (actions), violate the common i.i.d. assumptions made in statistical learning. This leads to poor performance in theory and often in practice. Some recent approaches provide stronger guarantees in this setting, but remain somewhat unsatisfactory as they train either non-stationary or stochastic policies and require a large number of iterations. In this paper, we propose a new iterative algorithm, which trains a stationary deterministic policy, that can be seen as a no regret algorithm in an online learning setting. We show that any such no regret algorithm, combined with additional reduction assumptions, must find a policy with good performance under the distribution of observations it induces in such sequential settings. We demonstrate that this new approach outperforms previous approaches on two challenging imitation learning problems and a benchmark sequence labeling problem.

연구 동기 및 목표

• 표본 간 독립 동일분포(i.i.d.) 감독 학습이 정책에 의해 유도되는 상태 분포 변화로 인해 실패하는 암시적 학습의 분포 이탈 문제를 해결하기 위해.
• 유도된 상태 분포 하에서 성능에 대해 강력한 이론적 보장을 갖춘 정적 결정적 정책을 훈련하기 위해.
• 암시적 학습과 구조적 예측을 온라인 무회귀 학습으로 환원하여, 표준 감독 학습 알고리즘의 재사용을 가능하게 하기 위해.
• SMILe와 SEARN과 같은 이전 반복적 방법들보다 샘플 효율성과 안정성을 향상시키기 위해, 이는 확률적 또는 비정적 정책을 사용한다.
• 로봇 제어 및 손글씨 인식과 같은 도전적인 실세계 과제에서 이 방법을 시험하여 경쟁 가능한 성능을 보여주기 위해.

제안 방법

• 현재 정책에 의해 유도된 상태에서 전문가의 시범 데이터를 수집하는 반복적 알고리즘인 DAGGER를 제안하며, 감독 학습을 위한 점점 커지는 데이터셋을 형성한다.
• 각 반복이 누적된 데이터셋에서의 회귀를 최소화함으로써 정책을 향상시키는 무회귀 온라인 학습 프레임워크를 사용한다.
• Beygelzimer 등(2005)의 감소 기반 접근법을 사용하여 암시적 학습을 무회귀 학습 문제로 변환함으로써, 이론적 성능 한계를 보장한다.
• 온라인에서 배치로의 기법을 적용하여 샘플 복잡도를 분석하고 유한한 데이터로 수렴을 보장한다.
• 과거 정책과 전문가 데이터의 가중 조합을 사용하며, 최근 및 관련 있는 데이터를 우선시하기 위해 감쇠 요소(예: βi = 0.5^{i-1})를 사용한다.
• 순차적 예측을 결정적 동역학을 갖는 특수한 형태의 암시적 학습 문제로 간주함으로써, 구조적 예측에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 무회귀 온라인 학습 프레임워크가 정책에 의해 유도되는 분포 하에서 암시적 학습에 효과적으로 적용되어 선형 오차 증가를 보장할 수 있는가?
• RQ2 분포 이탈 상황에서 순차적 의사결정 과제 하에서 정적 결정적 정책을 강력한 이론적 보장 하에 훈련할 수 있는가?
• RQ3 반복적 암시적 학습에서 데이터 수집 전략이 정책 성능과 샘플 효율성에 미치는 영향은 무엇인가?
• RQ4 DAGGER는 SMILe와 SEARN과 같은 기존 반복적 방법들에 비해 안정성, 수렴성 및 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 무회귀 학습으로의 감소 전략을 순차적 종속성이 있는 구조적 예측 과제로 확장할 수 있는가?

주요 결과

• Super Mario Bros. 과제에서 DAGGER는 지표 함수 기반 2980점과 감독 학습 기반 2800점에 비해 3030점의 점수를 기록하며 감독 학습 기반 베이스라인을 초월한다.
• Super Tux Kart 레이싱 과제에서는 DAGGER가 SMILe와 SEARN을 포함한 모든 다른 방법들보다 뚜렷한 수렴 추세를 보이며 뚜렷이 승리한다.
• OCR 벤치마크에서 DAGGER는 85.5%의 문자 정확도를 기록하여 감독 학습 기반 베이스라인(83.6%)을 초월했으며, α=0.1인 SEARN과 SMILe를 모두 능가한다.
• 작업의 수평선 T와 분류 오차 ϵ에 대해 총 비용 J(π)가 선형적으로 증가함을 보이며, 무회귀 학습의 이론적 보장과 일치한다.
• DAGGER는 안정성과 샘플 효율성 측면에서 향상되었으며, SMILe에서 사용하는 확률적 혼합의 불안정성과 감독 학습의 성능 정체를 피한다.
• 감쇠 가중치(βi = 0.5^{i-1})의 사용은 특히 초기 반복에서 균형 잡힌 데이터 다양성과 성능 향상에 기여하며, 균일하거나 지표 기반 가중치보다 우수하다.