[논문 리뷰] No-Regret Reductions for Imitation Learning and Structured Prediction

Stéphane Ross, Geoffrey J. Gordon외 1명|arXiv (Cornell University)|2010. 11. 02.

Reinforcement Learning in Robotics참고 문헌 14인용 수 101

한 줄 요약

이 논문은 유사 학습과 구조적 예측에 대한 새로운 반복적 알고리즘을 소개한다. 이 알고리즘은 무회귀 온라인 학습 원칙을 사용하여 정적 결정적 정책을 훈련한다. 감소 가정을 활용함으로써, 유도된 관측 분포 하에서 강력한 성능을 보장하며, 유사 학습 및 시퀀스 레이블링 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

Sequential prediction problems such as imitation learning, where future observations depend on previous predictions (actions), violate the common i.i.d. assumptions made in statistical learning. This leads to poor performance in theory and often in practice. Some recent approaches (Daumé III et al., 2009; Ross and Bagnell, 2010) provide stronger guarantees in this setting, but remain somewhat unsatisfactory as they train either non-stationary or stochastic policies and require a large number of iterations. In this paper, we propose a new iterative algorithm, which trains a stationary deterministic policy, that can be seen as a no regret algorithm in an online learning setting. We show that any such no regret algorithm, combined with additional reduction assumptions, must find a policy with good performance under the distribution of observations it induces in such sequential settings. We demonstrate that this new approach outperforms previous approaches on two challenging imitation learning problems and a benchmark sequence labeling problem. 1

연구 동기 및 목표

• 미래의 관측이 이전 행동에 의존하는 유사 학습과 같은 순차적 예측 작업에서 i.i.d. 가정의 한계를 해결한다.
• 비정적 또는 확률적 정책을 훈련하고 많은 반복이 필요한 이전 방법의 단점을 극복한다.
• 정책 자체가 유도하는 관측 분포 하에서 좋은 성능을 보장하는 방법을 개발한다.
• 구조적 출력을 가진 순차적 의사결정 환경에서 무회귀 학습의 효과성에 대한 이론적 근거를 제공한다.

제안 방법

• 정책이 누적 손실을 최소화하도록 반복적으로 업데이트되는 온라인 학습 설정으로 순차적 예측 문제를 공식화한다.
• 무회귀 학습 알고리즘을 사용하여 비정적 또는 확률적 정책의 불안정성 없이 정적 결정적 정책을 훈련한다.
• 온라인 학습 설정에서의 성능과 정책이 유도하는 관측 분포 하에서의 성능를 연결하는 감소 가정을 도입한다.
• 유사 학습 및 구조적 예측 작업을 온라인 학습 프레임워크로 매핑하여 알고리즘을 적용한다.
• 낮은 누적 손실을 갖는 정책로 수렴함으로써, 실제 운영 시 데이터 분포 하에서 강력한 일반화 성능을 보장한다.
• 순차 작업의 구조를 활용하여 문제를 환경의 피드백를 받는 순차적 지도 학습 문제로 환원한다.

실험 결과

연구 질문

• RQ1 정책에 의해 유도되는 의존성으로 인해 데이터 분포가 변화하는 순차적 예측 문제에 대해 무회귀 학습 알고리즘이 효과적으로 적용될 수 있는가?
• RQ2 온라인 학습을 통해 정적 결정적 정책를 훈련하는 것이 비정적 또는 확률적 정책 대비 유사 학습에서 더 높은 성능을 내는가?
• RQ3 감소 가정이 순차적 작업에서 실제 관측 분포 하에서의 성능 보장으로 이어지는 데 얼마나 기여하는가?
• RQ4 샘플 효율성과 구조적 예측 벤치마크에서의 최종 성능 측면에서 기존 방법과 비교해 본다면, 제안된 방법은 어떻게 다른가?

주요 결과

• 제안된 알고리즘은 두 가지 도전적인 유사 학습 작업에서 이전 방법들보다 뛰어난 성능을 달성한다.
• 표준 벤치마크 시퀀스 레이블링 문제에서 기존 방법들을 능가하며, 구조적 예측에서의 효과성을 입증한다.
• 이론적 분석을 통해 감소 가정 하에서 어떤 무회귀 알고리즘도 유도된 관측 분포 하에서 좋은 성능을 보이는 정책을 찾아내야 한다고 밝혔다.
• 알고리즘은 비정적 또는 확률적 정책 학습의 불안정성과 비효율성을 피하기 위해 정적 결정적 정책를 훈련한다.
• 강력한 성능을 유지하면서도 이전 방법들보다 반복 횟수를 줄여 샘플 효율성이 향상됨을 나타낸다.
• 실험 결과는 감소 가정이 실제 운영 시에 만날 실제 데이터 분포 하에서의 좋은 일반화 성능을 보장하는 데 충분함을 확인한다.