[논문 리뷰] Learning Soft Constraints From Constrained Expert Demonstrations

Gaurav Ashish, Kasra Rezaee외 2명|arXiv (Cornell University)|2022. 06. 02.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 알려진 보상 함수를 가정할 때, 전문가의 시연로부터 누적 소프트 제약 조건—모든 단계에서 엄격히 만족되어야 하는 것이 아니라 기대값에서 만족되는 제약 조건—을 복원하는 새로운 역 제약 학습(Implicit Constraint Learning, ICL) 방법을 제안한다. 제약 조건이 있는 마르코프 결정 과정(CMDP) 프레임워크와 반복 최적화를 사용하여, 고정밀도와 노이즈에 대한 강건성을 갖춘 다양한 합성 환경, 로봇 제어 및 실제 고속도로 주행 시나리오에 일반화 가능한 민감한 신경망 기반 제약 함수를 학습한다.

ABSTRACT

Inverse reinforcement learning (IRL) methods assume that the expert data is generated by an agent optimizing some reward function. However, in many settings, the agent may optimize a reward function subject to some constraints, where the constraints induce behaviors that may be otherwise difficult to express with just a reward function. We consider the setting where the reward function is given, and the constraints are unknown, and propose a method that is able to recover these constraints satisfactorily from the expert data. While previous work has focused on recovering hard constraints, our method can recover cumulative soft constraints that the agent satisfies on average per episode. In IRL fashion, our method solves this problem by adjusting the constraint function iteratively through a constrained optimization procedure, until the agent behavior matches the expert behavior. We demonstrate our approach on synthetic environments, robotics environments and real world highway driving scenarios.

연구 동기 및 목표

• 기존의 역 강화 학습(IRL) 방법이 제약 조건을 복원할 수 없음을 해결하고자 하며, 특히 제약 조건이 필수적인 안전 중심의 애플리케이션에서의 한계를 극복하고자 한다.
• 모든 트레이젝터리에서 반드시 만족되어야 하는 하드 제약 조건이 아닌, 개별 트레이젝터리에서는 위반이 허용되지만 기대값에서 제한되는 누적 소프트 제약 조건을 학습하고자 한다.
• 연속 상태-행동 공간을 포함한 임의의 상태-행동 공간에서 작동하며, 민감한 신경망 기반 제약 함수를 학습할 수 있는 방법을 개발하고자 한다.
• 합성 작업, 로봇 제어, 실제 고속도로 주행 시나리오를 포함한 다양한 환경에서 이 방법의 효과성을 입증하고자 한다.
• 보상만을 모델링하는 것보다 더 해석 가능하고 강건한 대안을 제공하고자 하며, 안전성과 운영 한계를 반영하는 제약 조건을 학습하고자 한다.

제안 방법

• 이 방법은 에이전트가 기대 보상을 최대화하면서도 누적 제약 값의 기대치에 대한 제약 조건을 만족하도록 하는 제약 조건이 있는 마르코프 결정 과정(CMDP) 프레임워크 내에서 역 제약 학습을 수립한다.
• 에이전트의 행동이 전문가 시범과 일치하도록 신경망 기반 제약 함수를 반복적으로 조정하기 위한 제약 조건이 있는 최적화 절차를 사용한다.
• 제약 함수는 딥 신경망으로 매개변수화되며, 전문가와 에이전트의 제약 누적 값 간의 차이를 최소화하는 미분 가능한 최적화 과정을 통해 훈련된다.
• 이 방법은 IRL와 유사한 이중 최적화 기법을 사용하여, 트레이젝터리에 걸쳐 전문가와 에이전트의 제약 값 간의 격차를 기반으로 제약 함수를 업데이트한다.
• 이 방법은 제약 조건을 개별 트레이젝터리에서가 아니라 기대값에서만 강제하기 때문에, 전문가 데이터의 노이즈와 경미한 위반에 대해 강건하다.
• 연속 상태-행동 공간을 지원하며, 로봇 운동 및 고속도로 주행과 같은 복잡한 역학을 가진 환경을 포함한 다양한 환경으로 일반화된다.

실험 결과

연구 질문

• RQ1 역 제약 학습은 모든 단계에서 엄격히 만족되어야 하는 것이 아니라 기대값에서 만족되는 소프트 제약 조건을 회복할 수 있는가?
• RQ2 신경망 기반 제약 함수는 연속 제어 및 실제 주행 시나리오를 포함한 다양한 환경에서 얼마나 잘 일반화되는가?
• RQ3 제안된 방법은 제약 조건 정확도와 행동 모방 측면에서 기존의 ICL 접근법보다 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 전문가 시범에서의 노이즈와 경미한 위반에 대해 얼마나 강건한가?
• RQ5 학습된 제약 조건은 의미적으로 해석 가능하며, 실제 애플리케이션에서 안전성을 향상시키는 데 사용될 수 있는가?

주요 결과

• 이 방법은 그리드월드와 카트폴과 같은 합성 환경에서 소프트 제약 조건을 성공적으로 복원하였으며, 다양한 설정에서 근사적으로 0에 가까운 제약 평균 제곱 오차(CMSE)를 기록하였다.
• 애ント(Ant) 및 허프체타이(_HALF-CHEETAH) 환경에서 각각 CMSE 값이 0.01 ± 0.00과 0.01 ± 0.00을 기록하여 높은 정밀도의 제약 조건 복원을 달성하였다.
• HighD 및 ExiD 고속도로 주행 시나리오에서는 속도 및 간격 제어와 관련된 의미 있는 제약 조건을 학습하였으며, 정규화된 누적 값이 전문가 행동과 매우 유사하게 일치하였다.
• 이 방법은 제약 조건을 개별 트레이젝터리에서가 아니라 기대값에서만 강제하기 때문에, 전문가 데이터의 노이즈와 경미한 위반에 대해 강건함을 입증하였다.
• 5개의 랜덤 시드에 대한 학습 그래프를 통해 제약 함수와 누적 값의 수렴이 일관되게 이루어졌으며, 안정적인 학습을 보였다.
• 특히 복잡한 환경에서 GAIL-Constraint 및 ICRL와 같은 베이스라인 방법에 비해 제약 함수 정확도와 행동 모방 측면에서 뛰어난 성능을 보였다.