[논문 리뷰] Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization

Quanyi Li, Zhenghao Peng외 1명|arXiv (Cornell University)|2022. 02. 17.

Autonomous Vehicle Technology and Safety인용 수 15

한 줄 요약

이 논문은 자율주행에서 인간의 간섭 예산을 최소화하면서도 훈련의 안전성을 보장하는 인간-AI 코파ilot 최적화(HACO)를 제안한다. 부분적인 인간의 시연와 프록시 가치 함수를 활용함으로써, 낮은 인간 예산으로도 높은 샘플 효율성과 뛰어난 안전성 및 일반화 성능을 달성하며, 강화학습 및 옹호학습 기반선보다 뛰어나다.

ABSTRACT

Human intervention is an effective way to inject human knowledge into the training loop of reinforcement learning, which can bring fast learning and ensured training safety. Given the very limited budget of human intervention, it remains challenging to design when and how human expert interacts with the learning agent in the training. In this work, we develop a novel human-in-the-loop learning method called Human-AI Copilot Optimization (HACO).To allow the agent's sufficient exploration in the risky environments while ensuring the training safety, the human expert can take over the control and demonstrate how to avoid probably dangerous situations or trivial behaviors. The proposed HACO then effectively utilizes the data both from the trial-and-error exploration and human's partial demonstration to train a high-performing agent. HACO extracts proxy state-action values from partial human demonstration and optimizes the agent to improve the proxy values meanwhile reduce the human interventions. The experiments show that HACO achieves a substantially high sample efficiency in the safe driving benchmark. HACO can train agents to drive in unseen traffic scenarios with a handful of human intervention budget and achieve high safety and generalizability, outperforming both reinforcement learning and imitation learning baselines with a large margin. Code and demo videos are available at: https://decisionforce.github.io/HACO/.

연구 동기 및 목표

• 안전한 자율 에이전트를 훈련할 때 제한된 인간 간섭 예산 문제를 해결하기 위해.
• 자율주행을 위한 강화학습에서 샘플 효율성과 훈련 안전성을 향상시키기 위해.
• 밀도 높은 보상 형상 조정에 의존하지 않고 옹호학습에서의 분포 이탈을 방지하기 위해.
• 에이전트가 인간의 타이머를 최소화하면서 안전한 탐색을 극대화할 수 있도록 적응형 자동화를 가능하게 하기 위해.
• 미래의 주행 시나리오에 일반화 가능한 스케일러블한 인간-중심 프레임워크를 개발하기 위해.

제안 방법

• HACO는 인간의 간섭을 부분적 시연의 트리거로 활용하며, 전문가가 위험한 상황에서 안전한 행동을 수행함으로써 시연한다.
• 에이전트와 인간의 혼합 행동 데이터로부터 프록시 가치 함수를 구성함으로써, 환경 보상에 접근하지 않고도 오프라인 강화학습을 가능하게 한다.
• 에이전트가 프록시 상태-행동 가치를 극대화하면서도 인간 간섭 빈도를 최소화하도록 최적화한다.
• 간섭 중의 행동 불일치를 줄이기 위해 코사인 유사도 기반 페널티를 도입한다.
• 간섭이 이루어지지 않은 경우 에이전트 정책에 엔트로피 정규화를 적용하여 안전한 행동 범위 내에서 탐색을 촉진한다.
• 제약 최적화 프레임워크를 통해 전문가에 대한 과도한 의존을 방지함으로써 타이머 빈도를 감소시키고 인간 자원의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 인간-중심 학습이 자율주행에서 높은 샘플 효율성을 확보하면서도 훈련의 안전성을 보장할 수 있는가?
• RQ2 정책 성능이나 안전성을 희생시키지 않고 인간 간섭을 최소화할 수 있는가?
• RQ3 환경 보상 없이도 부분적 시연에서 유도된 프록시 가치 함수가 정책 학습을 효과적으로 이끌 수 있는가?
• RQ4 표준 강화학습 및 옹호학습 방법과 비교해 HACO는 미리 보지 못한 주행 환경에서 어떻게 일반화되는가?
• RQ5 간섭 시점과 행동 일치도가 최종 정책 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• HACO는 MetaDrive에서 테스트 리턴 349.25 ± 11.45를 달성했으며, PPO(1591.00)와 옹호학습 기반선보다 훨씬 뛰어나며, 훈련 샘플 수가 8,000개 뿐이었다.
• CARLA Town 2에서 HACO는 8,000개의 샘플로 테스트 성공률 83% ± 4%를 달성했으며, PPO는 유사한 성공률을 확보하기 위해 500,000개의 샘플이 필요했다.
• HACO는 테스트 안전 위반 수를 11.84로 줄였고, PPO는 80.84로 나타나 뛰어난 안전성을 입증했다.
• 절단 실험에서 간섭 최소화를 제거한 결과, 에이전트의 인간 타이머에 대한 과도한 의존으로 0%의 성공률를 기록했다.
• 간섭 비용으로 코사인 유사도를 사용함으로써 불일치를 감소시켜 테스트 리턴을 23.23에서 349.25로 향상시켰다.
• HACO는 CARLA에서 새로운 CNN 특징 추출기를 사용해 단 10분 만에 주행 에이전트를 훈련시켰으며, 이는 그 효율성을 입증한다.