[논문 리뷰] Hierarchical Potential-based Reward Shaping from Task Specifications

Luigi Berducci, Edgar A. Aguilar외 2명|arXiv (Cornell University)|2021. 10. 06.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 안전성, 목표 도달, 편안함 요구사항을 포함한 형식적 작업 명세에서 다변량이고 계층적인 보상 함수를 자동으로 생성하는 계층적 잠재기반 보상 설계(Hierarchical Potential-Based Reward Shaping, HPRS)를 제안한다. 부분 순서와 잠재기반 설계를 활용하여 HPRS는 정책 최적성과 학습 가속화를 보장하며, 자율주행 및 로봇 제어 과제에서 뛰어난 성능과 부드러운 sim2real 이행을 입증한다.

ABSTRACT

The automatic synthesis of policies for robotic-control tasks through reinforcement learning relies on a reward signal that simultaneously captures many possibly conflicting requirements. In this paper, we in\-tro\-duce a novel, hierarchical, potential-based reward-shaping approach (HPRS) for defining effective, multivariate rewards for a large family of such control tasks. We formalize a task as a partially-ordered set of safety, target, and comfort requirements, and define an automated methodology to enforce a natural order among requirements and shape the associated reward. Building upon potential-based reward shaping, we show that HPRS preserves policy optimality. Our experimental evaluation demonstrates HPRS's superior ability in capturing the intended behavior, resulting in task-satisfying policies with improved comfort, and converging to optimal behavior faster than other state-of-the-art approaches. We demonstrate the practical usability of HPRS on several robotics applications and the smooth sim2real transition on two autonomous-driving scenarios for F1TENTH race cars.

연구 동기 및 목표

• 복잡한 로봇 과제를 위한 강화학습에서 효과적이고 다중 제약 조건을 갖춘 보상 함수를 정의하는 데 도전하는 것.
• 안전성, 목표, 편안함 요구사항을 작업 명세에 체계적으로 부분 순서 집합으로 표현하는 것.
• 요구사항 간 계층적 우선순위를 반영하면서도 정책 최적성을 유지하는 보상 신호의 자동 생성을 위한 것.
• 수동적 보상 설계의 부담을 줄이고 연속 제어 환경에서 수렴 속도와 정책 품질을 향상시키는 것.
• 특히 자율주행 분야에서 실세계 로봇 응용 프로그램을 위한 신뢰할 수 있는 sim2real 이행을 가능하게 하는 것.

제안 방법

• 표현력 있는 명세 언어를 사용하여 안전성, 목표, 편안함 제약 조건을 포함한 요구사항의 부분 순서 집합으로 작업을 형식화한다.
• 잠재기반 설계를 통해 요구사항 간 자연스러운 순서를 강제하는 계층적 보상 함수를 정의한다.
• 개별 요구사항의 정량적 평가를 통해 시간 단위 보상을 계산하여 지연된 책임 할당을 방지한다.
• 잠재기반 프레임워크에 보상 설계를 통합하여 정책 최적성과 이론적 타당성을 유지한다.
• 부분 순서와 요구사항 평가 결과를 바탕으로 최종 보상 신호를 자동으로 생성하는 절차를 적용한다.
• 기존의 강화학습 알고리즘과 결합하여 벤치마크와 실제 F1TENTH 레이스카에서 검증한다.

실험 결과

연구 질문

• RQ1 충돌하는 요구사항을 가진 복잡한 다목적 로봇 제어 과제를 효과적으로 표현할 수 있는 계층적 잠재기반 보상 설계 방법은 무엇인가?
• RQ2 학습 속도, 정책 품질, 과제 요구사항 이행 측면에서 HPRS는 최신 보상 설계 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 HPRS는 자율주행 시나리오에서 정책의 sim2real 이행 가능성에 얼마나 기여하는가?
• RQ4 HPRS를 통해 편안함 요구사항을 통합하면 실세계 로봇 시스템에서 더 자연스럽고 이행 가능한 행동이 유도되는가?
• RQ5 형식적 작업 명세에서 자동으로 보상을 생성하면서도 HPRS는 정책 최적성을 유지할 수 있는가?

주요 결과

• HPRS로 훈련된 정책은 주행 과제에서 스무딩 스티어링과 제어와 같은 편안함 관련 요구사항의 만족률이 70%로 상승했으며, 이는 편안함을 고려하지 않은 경우 32%에 비해 높은 수준을 보였다.
• 안전 주행 과제에서 편안함 요구사항이 포함된 정책은 최대 속도 제약 조건의 99%를 이행했으며, 이는 편안함을 고려하지 않은 경우 36%에 못 미치는 성능에 비해 뛰어났다.
• 이 방법을 통해 F1TENTH 레이스카에서 성공적인 sim2real 구현이 이루어졌으며, 차량은 안전한 거리 유지를 유지하면서도 트랙을 부드럽게 주행하고 앞서가는 차량을 따라가는 데 성공했다.
• HPRS는 루나 랜더, 바이페달 워커, 자율주행 벤치마크에서 학습 곡선의 향상으로 인해 최신 기술 대비 더 빠른 최적 행동 수렴을 보였다.
• HPRS로 훈련된 정책는 요구사항 이행에 있어 변동성이 감소하여 복잡한 주행 상황에서도 더 일관되고 강력한 행동을 보였다.
• 편안함 요구사항의 통합으로 인해 '선두 차량 따라가기' 과제에서 스무딩 스티어링 만족률이 23% 증가했고, 스무딩 제어 만족률은 37% 증가했다.