[논문 리뷰] Human-AI Shared Control via Policy Dissection

Quanyi Li, Zhenghao Peng외 3명|arXiv (Cornell University)|2022. 05. 31.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 재학습 없이 학습된 신경 정책 표현을 운동학적 특성과 정렬함으로써 인간-AI 공동 제어를 가능하게 하는 주파수 기반 방법인 Policy Dissection를 제안한다. 사전 훈련된 정책에서 운동 기초 행동을 발견하여, 이동 및 주행 작업에서 점프 및 역주행과 같은 행동을 실시간으로 인간이 조작할 수 있게 하며, 예측 불가능한 환경에서 일반화 능력과 안전성을 크게 향상시킨다.

ABSTRACT

Human-AI shared control allows human to interact and collaborate with AI to accomplish control tasks in complex environments. Previous Reinforcement Learning (RL) methods attempt the goal-conditioned design to achieve human-controllable policies at the cost of redesigning the reward function and training paradigm. Inspired by the neuroscience approach to investigate the motor cortex in primates, we develop a simple yet effective frequency-based approach called extit{Policy Dissection} to align the intermediate representation of the learned neural controller with the kinematic attributes of the agent behavior. Without modifying the neural controller or retraining the model, the proposed approach can convert a given RL-trained policy into a human-interactive policy. We evaluate the proposed approach on the RL tasks of autonomous driving and locomotion. The experiments show that human-AI shared control achieved by Policy Dissection in driving task can substantially improve the performance and safety in unseen traffic scenes. With human in the loop, the locomotion robots also exhibit versatile controllable motion skills even though they are only trained to move forward. Our results suggest the promising direction of implementing human-AI shared autonomy through interpreting the learned representation of the autonomous agents. Demo video and code will be made available at https://metadriverse.github.io/policydissect.

연구 동기 및 목표

• 재학습 없이 사전 훈련된 딥 강화학습 에이전트의 인간-AI 공동 제어를 가능하게 하기 위해.
• 신경 정책의 내부 표현을 해석하고 특정 운동학적 특성(예: 요, 속도, 방향)과 연결하기 위해.
• 복잡한 제어 작업에서 실시간 인간 간섭을 위한 일반적이고 아키텍처에 종속되지 않는 방법을 개발하기 위해.
• 인간-중심 제어를 통해 테스트 시점의 일반화 능력과 예측 불가능한 환경에서의 안전성을 향상시키기 위해.
• 기본적으로 단순한 작업을 위해 훈련된 에이전트에서 복잡한 운동 기술(예: 역주행, 몸무게를 내리는 자세)의 제어 가능성을 입증하기 위해.

제안 방법

• Policy Dissection는 사전 훈련된 정책의 롤아웃 동안 신경망 유닛의 시계열 활성화에 주파수 분석을 수행한다.
• 교차 스펙트럼 공진도를 사용하여 특정 운동학적 특성(예: 요 속도, 수직 속도)의 주파수와 가장 잘 일치하는 활성화 패턴을 보이는 유닛을 식별한다.
• 해당 유닛(운동 기초 행동)을 제어 가능한 운동학적 행동과 연결하여 刺자극 유발 지ap을 구성한다.
• 인간의 제어는 추론 중에 이러한 발견된 운동 기초 행동의 활성화를 조절함으로써 이루어진다.
• 이 방법은 모델에 종속되지 않으며, 재학습, 보상 함수 변경, 환경 수정이 필요하지 않다.
• 특히 운동 피질 자극 연구를 기반으로 한 신경과학 원리를 활용하여 딥 정책 표현을 해석한다.

실험 결과

연구 질문

• RQ1 재학습 없이 사전 훈련된 딥 강화학습 정책에서 해석 가능한 운동 기초 행동을 발견할 수 있는가?
• RQ2 발견된 이러한 기초 행동은 점프 및 역주행과 같은 복잡한 행동에 대한 실시간 인간 제어를 가능하게 하는가?
• RQ3 Policy Dissection를 통한 인간-AI 공동 제어가 예측 불가능한 환경에서 성능과 안전성 향상에 기여하는가?
• RQ4 정밀도와 융통성 측면에서 목표 조건 정책 대비 이 방법의 제어 가능성은 어떻게 비교되는가?
• RQ5 이 방법은 다양한 제어 작업과 신경망 아키텍처 간에 일반화 가능한가?

주요 결과

• 자율 주행에서 Policy Dissection를 활용한 인간-AI 공동 제어 시스템은 예측 불가능한 교통 상황에서 기준 정책보다 성능과 안전성에서 뚜렷한 향상을 보였다.
• 4족 보행 로봇의 경우, 새로운 환경의 장애물을 고려한 장애물 회피 기능을 실현하였으며, 이는 특정 환경에 대해 훈련된 시각 기반 정책와 비교해 유사한 성능을 달성하였다.
• Cassie 로봇에서 Policy Dissection는 단지 앞으로 가는 것을 훈련한 정책에서 몸무게를 내리는 자세, 점프, 역주행 기술을 발견하였고, 인간 운영자가 이를 조합하여 파크로어 코스를 통과하는 데 성공하였다.
• 방향 추적 작업에서 기초 행동 활성화 제어는 목표 조건 제어와 유사한 정밀도를 보였으며, 추적 오차 프로파일은 PID 기반 기준과 거의 동일하였다.
• 이 방법은 이동 및 주행을 포함한 다양한 작업에서 일반화되었으며, 기반 RL 정책의 아키텍처나 알고리즘에 제한 없이 적용 가능했다.
• 자극 유발 지도는 효과적인 작업 전이를 가능하게 하여, 재학습 없이 인간의 기초 행동 조절만으로도 새로운 작업을 수행하도록 에이전트를 유도하였다.