[논문 리뷰] Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners

Yun‐Shiuan Chuang, Xuezhou Zhang외 4명|arXiv (Cornell University)|2020. 09. 05.

Reinforcement Learning in Robotics참고 문헌 32인용 수 6

한 줄 요약

이 논문은 평가 피드백을 통해 탐색-이점 과제에서 인간이 Q-학습 에이전트를 어떻게 가르치는지 조사하며, 이를 기계 학습 교육 문제로 프레임워크화한다. 인간은 할인률이 낮은(γ=0) 고 학습률이 높은(α=0.9) 에이전트를 하위최적적이지만 효과적으로 가르치며, 이는 학습자가 예측 가능하고 단기적으로 제어 가능한 것으로 가정하는 데 기반한다. 또한 실시간 피드백 시각화는 가르침 효율을 약간만 향상시킨다.

ABSTRACT

Successful teaching requires an assumption of how the learner learns - how the learner uses experiences from the world to update their internal states. We investigate what expectations people have about a learner when they teach them in an online manner using rewards and punishment. We focus on a common reinforcement learning method, Q-learning, and examine what assumptions people have using a behavioral experiment. To do so, we first establish a normative standard, by formulating the problem as a machine teaching optimization problem. To solve the machine teaching optimization problem, we use a deep learning approximation method which simulates learners in the environment and learns to predict how feedback affects the learner's internal states. What do people assume about a learner's learning and discount rates when they teach them an idealized exploration-exploitation task? In a behavioral experiment, we find that people can teach the task to Q-learners in a relatively efficient and effective manner when the learner uses a small value for its discounting rate and a large value for its learning rate. However, they still are suboptimal. We also find that providing people with real-time updates of how possible feedback would affect the Q-learner's internal states weakly helps them teach. Our results reveal how people teach using evaluative feedback and provide guidance for how engineers should design machine agents in a manner that is intuitive for people.

연구 동기 및 목표

• 평가 피드백을 통해 Q-학습 에이전트를 지도할 때 인간의 가르침 전략을 이해하기 위해.
• 평가 피드백을 통한 온라인 가르침 중 인간이 학습자 동역학에 대해 어떤 가정을 하는지 밝혀내기 위해.
• 실시간 피드백 시각화가 가르침 효과성에 기여하는지 평가하기 위해.
• 최적의 가르침을 Q-러닝 에이전트에 대해 범주론적 기준으로 모델링하는 기계 학습 교육 프레임워크를 개발하기 위해.
• 인간의 가르침 기대치와 일치하는 파rameter를 갖춘 인간 友好的 강화 학습 에이전트의 설계를 안내하기 위해.

제안 방법

• 교수 과제를 기계 학습 교육 최적화 문제로 공식화하여, 교사의 목표를 정책 수렴까지의 단계 수 최소화로 모델링하였다.
• 딥 러닝을 사용해 역교수 과정을 근사하여 피드백이 Q-러닝 에이전트의 내부 상태에 미치는 영향을 시뮬레이션하였다.
• 탐색과 이점을 요구하는 격자세계 환경에서 인간 참가자가 Q-러닝 에이전트를 가르치는 행동 실험을 설계하였다.
• 가르침의 용이성에 영향을 미치는 Q-러닝 에이전트의 초모수(γ 및 α)를 다양화하여 가장 가르치기 쉬운 설정을 테스트하였다.
• 참가자가 실시간 Q-값 업데이트를 볼 수 있는 화이트박스 조건을 구현하여 내부 상태 시각화의 영향을 평가하였다.
• 인간의 가르침 전략이 시간이 지남에 따라 변화하는지 평가하기 위해 순열 검정을 실시하였다.

실험 결과

연구 질문

• RQ1 평가 피드백을 통해 가르칠 때 인간 교사가 Q-학습 에이전트의 학습률과 할인률에 대해 어떤 가정을 하는가?
• RQ2 가르침 효율 측면에서 인간의 가르침 성과는 최적의 기계 학습 교육 알고리즘과 비교해 어떻게 되는가?
• RQ3 보상이 Q-값에 미치는 영향을 실시간으로 보여주는 피드백 제공이 인간의 가르침 성과를 향상시키는가?
• RQ4 어느 Q-러닝 에이전트 초모수 설정이 인간의 가르침에 가장 적합한가?
• RQ5 인간 교사들은 가르침 과정 내내 전략을 적응시키는가?

주요 결과

• 인간 교사들은 최적의 기계 학습 교육 알고리즘보다는 더 많은 단계를 요구하지만, 하위최적적이지만 효과적으로 Q-러닝 에이전트를 가르쳤으며, 최적 알고리즘은 11단계 만에 수렴을 달성하였다.
• 최고로 가르치기 쉬운 Q-러닝 에이전트는 할인률 γ=0과 학습률 α=0.9를 가지며, 인간 교사들은 이 설정을 암묵적으로 자신의 '최애 학생'으로 여겼다.
• 순열 검정을 통해 피드백 패턴이 비랜덤임을 입증함으로써 참가자들이 시간이 지남에 따라 가르침 전략을 적응시켰음을 확인하였다.
• Q-값에 대한 피드백 영향을 실시간으로 보여주는 시각화 도구는 가르침 효율을 약간 향상시켰으며, 이는 내부 상태에 대한 통찰의 이점이 제한적임을 시사한다.
• 에이전트의 내부 상태를 볼 수 있는 화이트박스 조건과 그렇지 않은 블랙박스 조건 간의 성능 차이는 거의 없었으며, 가르침 성과에 큰 영향을 주지 않았다.
• 인간 교사들은 예측 가능하고 단기적으로 제어 가능한 학습자를 가정하였으며, 이는 미래의 할인을 최소화하고 보상에 즉각적으로 반응하는 학습자를 의미한다.