[논문 리뷰] Active Imitation Learning via Reduction to I.I.D. Active Learning

Kshitij Judah, Alan Fern외 1명|Uncertainty in Artificial Intelligence|2012. 10. 16.

Machine Learning and Algorithms참고 문헌 24인용 수 24

한 줄 요약

이 논문은 전문가의 질의 비용을 크게 줄이는 데 초점을 맞춘 새로운 주동적 암시 학습 프레임워크를 제안한다. 문제를 독립적이고 동일하게 분포된(i.i.d.) 주동적 학습으로 환원함으로써, 전문가 질의 비용을 감소시킨다. 불확실성과 과거 상호작용을 바탕으로 전략적으로 상태를 선별하여 전문가 질의를 수행함으로써, 수동적 암시 학습보다 낮은 레이블 복잡도를 달성하며, 네 가지 도메인에서의 실험적 검증을 통해 기존 기준 대비 뛰어난 성능을 보였다.

ABSTRACT

In standard passive imitation learning, the goal is to learn a target policy by passively observing full execution trajectories of it. Unfortunately, generating such trajectories can require substantial expert effort and be impractical in some cases. In this paper, we consider active imitation learning with the goal of reducing this effort by querying the expert about the desired action at individual states, which are selected based on answers to past queries and the learner's interactions with an environment simulator. We introduce a new approach based on reducing active imitation learning to i.i.d. active learning, which can leverage progress in the i.i.d. setting. Our first contribution, is to analyze reductions for both non-stationary and stationary policies, showing that the label complexity (number of queries) of active imitation learning can be substantially less than passive learning. Our second contribution, is to introduce a practical algorithm inspired by the reductions, which is shown to be highly effective in four test domains compared to a number of alternatives.

연구 동기 및 목표

• 정책을 학습하기 위해 필요한 질의 수를 최소화하여 암시 학습에서 전문가의 노력 부담을 줄이기 위해.
• 수동적 암시 학습에서 전체 전문가 트레이젝터리 수집 비용이 높다는 문제를 해결하기 위해.
• i.i.d. 주동적 학습의 최근 발전을 활용하여 실용적인 알고리즘을 개발하기 위해.
• 주동적 암시 학습이 훨씬 적은 전문가 질의로도 비교적 또는 더 뛰어난 성능을 달성할 수 있음을 입증하기 위해.
• 정적 및 비정적 정책 조건 하에서 주동적 암시 학습의 이론적 레이블 복잡도를 분석하기 위해.

제안 방법

• 각 상태-행동 쌍을 독립적인 인스턴스로 간주함으로써 주동적 암시 학습을 i.i.d. 주동적 학습으로 환원함으로써, 기존의 불확실성 샘플링 및 질의 전략을 적용할 수 있도록 한다.
• 학습자의 현재 정책과 시뮬레이터와의 상호작용 이력에서 유도된 불확실성 추정치를 바탕으로 전문가 질의를 위한 상태를 선택한다.
• 학습자가 예측한 행동 분포가 가장 불확실한 상태를 우선순위로 정하는 질의 전략을 적용하여 정보 수확량을 극대화한다.
• 에이전트가 환경과 상호작용하고 전문가 질의 사이에 정책을 반복적으로 개선할 수 있도록 시뮬레이터를 활용한다.
• 이론적 분석을 통해 정적 및 비정적 정책 조건 하에서 주동적 암시 학습의 레이블 복잡도가 수동적 암시 학습보다 상당히 낮음을 입증한다.
• 환원 기반으로 실용적인 알고리즘을 설계하였으며, 불확실성 샘플링과 주동적 질의 선택을 통합하여 전문가 간섭을 최소화한다.

실험 결과

연구 질문

• RQ1 주동적 암시 학습은 수동적 암시 학습에 비해 필요한 전문가 질의 수를 줄일 수 있는가?
• RQ2 정적 및 비정적 정책 조건 하에서 주동적 암시 학습의 레이블 복잡도는 수동 학습과 비교해 어떻게 되는가?
• RQ3 주동적 암시 학습을 i.i.d. 주동적 학습으로 환원함으로써 실용적이고 효과적인 알고리즘이 도출될 수 있는가?
• RQ4 질의 전략 설계가 주동적 암시 학습의 성능과 질의 효율성에 미치는 영향은 무엇인가?
• RQ5 불확실성 기반 질의 선택과 시뮬레이터 상호작용은 정책 학습의 샘플 효율성에 어떻게 기여하는가?

주요 결과

• 이론적 분석을 통해 주동적 암시 학습은 특히 비정적 정책 조건 하에서 수동적 암시 학습보다 상당히 낮은 레이블 복잡도를 보임을 입증하였다.
• 제안된 알고리즘은 네 가지 테스트 도메인에서 높은 정책 성능를 달성하기 위해 필요한 전문가 질의 수를 크게 줄였다.
• 실험 결과는 샘플 효율성과 최종 정책 성능 측면에서 여러 기준 대비 본 방법이 뛰어난 성능을 보였다.
• i.i.d. 주동적 학습으로의 환원을 통해 잘 알려진 질의 전략을 활용할 수 있어 실용성과 효과성이 향상되었다.
• 최소한의 전문가 간섭으로도 뛰어난 성능를 달성하여, 실세계 환경에서 주동적 암시 학습의 실현 가능성을 입증하였다.
• 이론적 보장이 존재함을 바탕으로, 이 프레임워크는 정적 및 비정적 정책 모두를 효과적으로 처리할 수 있었다.