[논문 리뷰] Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer

Yusen Zhan, Haitham Bou Ammar외 1명|arXiv (Cornell University)|2016. 04. 13.

Reinforcement Learning in Robotics참고 문헌 9인용 수 31

한 줄 요약

이 논문은 학생 에이전트가 탐색을 균형 잡으며 여러 교사의 조언을 활용하는 이론적으로 탄탄한 다중교사 강화학습 프레임워크를 제안한다. 좋은 교사일수록 학습을 가속화하고, 나쁜 교사일수록 샘플 복잡도를 증가시킨다는 것을 증명하는 유감 한계를 유도하며, 정책 조언 설정에서의 부정적 전이를 처음으로 정량화한다.

ABSTRACT

Policy advice is a transfer learning method where a student agent is able to learn faster via advice from a teacher. However, both this and other reinforcement learning transfer methods have little theoretical analysis. This paper formally defines a setting where multiple teacher agents can provide advice to a student and introduces an algorithm to leverage both autonomous exploration and teacher's advice. Our regret bounds justify the intuition that good teachers help while bad teachers hurt. Using our formalization, we are also able to quantify, for the first time, when negative transfer can occur within such a reinforcement learning setting.

연구 동기 및 목표

• 정책 조언 전이 학습 방법에 대한 이론적 기반의 부족을 해결한다.
• 최적의 교사가 필요로 하는 제한을 극복하여 비최적의 교사로부터도 학습할 수 있도록 한다.
• 단일교사 조언 모델을 이론적 보장을 갖춘 다중교사 설정으로 공식적으로 일반화한다.
• 정책 조언에서의 부정적 전이를 정량화한다. 전이가 발생하는 조건을 규명한다.
• 학생이 탐색과 조언을 통합함으로써 교사 성능을 초월할 수 있는 프레임워크를 제공한다.

제안 방법

• 약한 통신성 MDP에서 다중교사 조언 모델을 공식화하여 단일교사 프레임워크를 확장한다.
• 가중치 조합 전략을 사용하여 학생의 자율성과 교사의 조언 사이의 균형을 맞추는 알고리즘을 도입한다.
• 교사의 품질에 따라 달라지는 유감 한계를 도출하며, 보다 나은 교사일수록 샘플 복잡도가 감소함을 보여준다.
• 다수의 교사를 종합하여 구성한 그랜드-교사 정책을 활용해 학습을 이끌지만, 학생의 탐색을 허용한다.
• 이론적 분석을 적용하여 비최적의 교사일지라도 최적성에 수렴하는 수렴을 방해하지 않음을 보여준다.
• 온라인 강화학습 유감 최소화를 활용하여 성능과 전이 품질을 공식적으로 분석한다.

실험 결과

연구 질문

• RQ1 다중교사 정책 조언 설정에서 부정적 전이가 발생하는 조건은 무엇인가?
• RQ2 교사 정책의 품질이 학생 에이전트의 샘플 복잡도와 유감에 어떤 영향을 미치는가?
• RQ3 비최적의 교사로부터 조언을 받더라도 학생이 최적의 행동을 달성할 수 있는가?
• RQ4 약한 통신성 MDP에서 다중교사 정책 조언에 대한 이론적 보장을 어떻게 도출할 수 있는가?
• RQ5 이 프레임워크에서 교사 품질과 학습 효율성 사이의 공식적 관계는 무엇인가?

주요 결과

• 제안된 알고리즘은 모든 교사가 비최적일 경우에도 최적성을 달성하여 열악한 조언에 대한 강건성을 입증한다.
• 유감 한계는 교사 품질이 낮을수록 학습 성능이 떨어짐을 보여주며, 나쁜 교사가 학습에 악영향을 준다는 직관을 정량적으로 정당화한다.
• 부정적 전이가 정책 조언 설정에서 처음으로 공식적으로 정량화되었으며, 식 6에 조건이 유도되었다.
• ‘만족스러운 정도의’ 교사가 있다고 가정하거나 교사 성능을 초월할 수 없는 이전 방법들보다 이 방법이 더 우수하다.
• 이론적 분석은 단일교사 조언 모델이 제안된 다중교사 프레임워크의 특수한 경우임을 확인한다.
• 이 프레임워크는 이민화 기반 방법과 달리, 자율적 탐색을 통해 학생이 교사 성능을 초월할 수 있다.