[논문 리뷰] Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints

Sebastian Tschiatschek, Ahana Ghosh외 3명|arXiv (Cornell University)|2019. 06. 02.

Reinforcement Learning in Robotics참고 문헌 44인용 수 8

한 줄 요약

이 논문은 학습자의 선호도와 제약 조건을 고려하여 교사가 강의를 최적화하는 역강화학습에서의 학습자 인지 교육을 제안한다. 최대 인과 엔트로피 IRL 모델 내에서 이중 최적화 프레임워크를 사용하여, 이론적 보장과 실험적 검증을 통해 기존의 학습자 무시 교육보다 학습 성능을 향상시킨다.

ABSTRACT

Inverse reinforcement learning (IRL) enables an agent to learn complex behavior by observing demonstrations from a (near-)optimal policy. The typical assumption is that the learner's goal is to match the teacher's demonstrated behavior. In this paper, we consider the setting where the learner has its own preferences that it additionally takes into consideration. These preferences can for example capture behavioral biases, mismatched worldviews, or physical constraints. We study two teaching approaches: learner-agnostic teaching, where the teacher provides demonstrations from an optimal policy ignoring the learner's preferences, and learner-aware teaching, where the teacher accounts for the learner's preferences. We design learner-aware teaching algorithms and show that significant performance improvements can be achieved over learner-agnostic teaching.

연구 동기 및 목표

• 학습자 선호도와 제약 조건 하에서 역강화학습을 정형화하여, 맹목적 모방이라는 가정을 넘어서는 것.
• 교사가 학습자 고유의 선호도를 忽시하는 학습자 무시 교육의 부적합성 분석.
• 기존에 알려진 학습자 선호도를 바탕으로 강의를 최적화하는 학습자 인지 교육 프레임워크 설계.
• 학습자 선호도가 알려지지 않은 경우에도 이론적 보장이 있는 적응형 교육 전략 개발.
• 학습자 인지 교육이 학습자 무시 방법에 비해 학습 성능을 크게 향상시킨다는 경험적 검증.

제안 방법

• 최대 인과 엔트로피 IRL 프레임워크를 사용하여 교육 문제를 정형화하고, 특징 제약 조건을 통해 학습자 선호도를 모델링한다.
• 이중 최적화 접근법을 제안하여, 교사가 알려진 선호도와 제약 조건 하에서 학습자 성능을 최대화하도록 강의를 최적화한다.
• 유한 차분을 통한 기울기 및 제약 조건 선형화를 활용하여 제약 조건 최적화 문제를 해결하는 프랭크-울프 알고리즘의 변종을 사용한다.
• 두 하위 문제를 해결한다: 하나는 선호도 특징에 대한 경직된 제약 조건을 강제하고, 다른 하나는 이를 완화하는 것으로, 그 중 최적의 해를 선택한다.
• 특징 기대치 일치를 활용하여, 교사는 최적 정책의 특징 기대치를 계산하고 학습자에게 제공한다.
• 학습자 모델에 자연스러운 정규성 조건을 가정하고 이론적 수렴 보장을 도출함으로써, 알려지지 않은 선호도에 대한 프레임워크의 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 학습자가 교사의 강의와 충돌하는 선호도를 가질 경우, 학습자 무시 교육은 얼마나 성능이 열 劣하던가?
• RQ2 교사가 학습자의 선호도와 제약 조건을 명시적으로 모델링하고 적응함으로써 학습 성능을 향상시킬 수 있는가?
• RQ3 선호도 제약 조건이 있는 IRL에서 효과적인 학습자 인지 교육을 가능하게 하는 최적화 프레임워크는 무엇인가?
• RQ4 학습자 선호도가 알려지지 않은 상황에서 성능 향상을 보장하면서 교사는 어떻게 적응할 수 있는가?
• RQ5 학습자 인지 교육은 학습자 무시 교육에 비해 어떤 경험적 성능 향상을 달성하는가?

주요 결과

• 경험적 평가를 통해 학습자 인지 교육이 기대 할인 보상 측면에서 학습자 무시 교육을 뚜렷이 앞서는 것으로 확인되었다.
• 이중 최적화 프레임워크는 작업 보상과 학습자 제약 조건을 모두 고려하는 교육 정책을 성공적으로 식별했다.
• 프랭크-울프 기반 알고리즘은 제약 조건과 기울기의 선형 근사를 통해 제약 조건 최적화 문제를 효과적으로 해결했다.
• 경직된 제약 조건을 강제하는 경우와 완화하는 경우의 두 해 중 최적의 해를 선택함으로써 더 나은 성능을 달성했다.
• 학습자 선호도가 알려지지 않은 경우에도 자연스러운 가정 하에 적응형 교육에 대한 이론적 보장을 제공했다.
• 경험 결과는 선호도를 고려함으로써 학습 효율성과 최종 정책 성능 향상이 측정 가능한 수준으로 이루어짐을 확인했다.