[논문 리뷰] Learning Shared Safety Constraints from Multi-task Demonstrations

Konwoo Kim, Gokul Swamy외 4명|arXiv (Cornell University)|2023. 09. 01.

Reinforcement Learning in RoboticsComputer Science인용 수 3

한 줄 요약

이 논문은 다수의 작업에서 다양한 전문가의 시연 데이터를 활용하여 단일 작업 방법보다 더 견고하게 공통의 안전 제약 조건을 학습하는 다중 작업 역제약 학습(MT-ICL)을 제안한다. 역제약 학습을 제로섬 게임으로 재구성하고, 다중 작업 데이터를 활용하여 과도하게 보수적인 제약 조건을 방지함으로써, 환경 상호작용 없이도 연속 제어 환경에서 참값 안전 제약 조건을 성공적으로 복원하며 전문가 성능을 달성한다.

ABSTRACT

Regardless of the particular task we want them to perform in an environment, there are often shared safety constraints we want our agents to respect. For example, regardless of whether it is making a sandwich or clearing the table, a kitchen robot should not break a plate. Manually specifying such a constraint can be both time-consuming and error-prone. We show how to learn constraints from expert demonstrations of safe task completion by extending inverse reinforcement learning (IRL) techniques to the space of constraints. Intuitively, we learn constraints that forbid highly rewarding behavior that the expert could have taken but chose not to. Unfortunately, the constraint learning problem is rather ill-posed and typically leads to overly conservative constraints that forbid all behavior that the expert did not take. We counter this by leveraging diverse demonstrations that naturally occur in multi-task settings to learn a tighter set of constraints. We validate our method with simulation experiments on high-dimensional continuous control tasks.

연구 동기 및 목표

• 암묵적이고 작업에 종속되지 않는 안전 제약 조건을 학습하는 데 도전하는 것 — 이러한 제약 조건은 수동으로 특정하기 어려움.
• 자주 발생하는 과도하게 보수적인 제약 조건을 유도하는 역제약 학습의 불량한 정의 문제를 해결하는 것.
• 다양한 작업에서의 시범 데이터를 활용하여 제약 조건의 일반화 능력과 견고성을 향상시키는 것.
• 다중 작업 설정을 공식화한 역제약 학습의 확장 버전을 제안하여, 새로운 작업에 대해 안전하고 높은 성능을 내는 정책을 가능하게 하는 것.
• 고차원 연속 제어 작업에서 방법을 검증하여, 환경 상호작용 없이 참값 제약 조건을 복원하는 것

제안 방법

• 정책 플레이어(제약 조건 하에서 작업 보상 최대화)와 제약 조건 플레이어(정책을 전문가 대비 페널티를 주는 제약 조건 선택) 사이의 이중자 게임으로 역제약 학습(ICL)을 공식화한다.
• 다양한 작업 전용 정책 플레이어를 고려하는 제약 조건 플레이어를 도입하여 ICL을 다중 작업 환경으로 확장하며, 전문가 및 학습자 데이터의 집계를 사용해 열악한 해를 방지한다.
• 내부 루프에서 제약 강화 학습(CRL) 오라클을 사용해 후보 제약 조건 하에서 최적의 정책을 찾음으로써 안전한 정책 최적화를 가능하게 한다.
• 다중 작업 시범 데이터를 활용해 상태 공간의 커버리지 향상을 도모하여, 단일 작업에서의 특이적인 전문가 행동에 대한 과적합을 줄인다.
• 깊은 신경망을 제약 함수를 표현하기 위해 사용하여 고차원 환경에서의 일반화 능력을 향상시킨다.
• 게임 이론적 최적화 과정을 반복적으로 적용하여 제약 조건을 개선함으로써, 전문가가 피한 고보상·불안전 행동만 금지하는 제약 조건로 수렴한다.

Figure 1 : A visual depiction of the optimization problem we’re trying to solve in ICL . We attempt to pick a constraint that minimizes the value difference over the expert policy a safe policy could have. The star corresponds to the output of CRL.

실험 결과

연구 질문

• RQ1 다중 작업 시범 데이터는 단일 작업 ICL에 비해 학습된 안전 제약 조건의 견고성과 일반화 능력을 향상시키는가?
• RQ2 제안된 다중 작업 ICL 프레임워크는 이전 ICL 방법에서 흔히 발생하는 과도하게 보수적인 제약 조건을 어떻게 피하는가?
• RQ3 환경 상호작용 없이도 연속 제어 환경에서 참값 안전 제약 조건을 얼마나 잘 복원할 수 있는가?
• RQ4 다양한 작업의 시범 데이터로부터 공통 제약 조건을 학습함으로써, 새로운 작업으로의 일반화가 가능한가?
• RQ5 전문가의 비최적성(부정확성)은 제약 조건 학습에 어떤 영향을 미치며, 노이즈가 있는 시범 데이터에서도 방법이 견고한가?

주요 결과

• 다중 작업 ICL 방법은 환경 상호작용 없이도 AntMaze 환경에서 전문가 시범 데이터만으로 참값 미로 구조를 성공적으로 복원한다.
• AntMaze 작업에서 다중 작업 제약 조건 네트워크(g)/(h)는 진짜 벽을 약간의 근사로 복원하지만, 단일 작업 네트워크(d)와 앙상블 방법(e)/(f)는 부정확하고 잘못된 제약 조건을 학습한다.
• 이 방법은 AntMaze 환경의 모든 10개 작업에서 전문가 수준의 성능과 제약 위반 비율을 달성하며, 결과는 3개의 시드 평균화 및 표준 오차 계산을 통해 제공된다.
• 노이즈가 있는 전문가 시범 데이터(Gaussian 노이즈가 적용된 동작)가 존재하더라도, 방법은 안전하고 높은 성능을 내는 정책을 유지하여 비최적 전문가에 대한 견고성을 입증한다.
• 다양한 탐색 목표에서 일관된 성능을 보이며, 다중 작업 데이터로부터 공통 제약 조건을 학습함으로써 새로운 작업으로의 일반화가 가능하다.
• 제로섬 게임 공식화는 안정적인 제약 조건 학습을 가능하게 하며, 시뮬레이션 및 연속 제어 설정 모두에서 반복 과정에서 수렴이 관찰된다.

Figure 2 : If we have a sufficient diversity of expert policies, none of which are optimal along the reward vector, we can identify the hyperplane that separates the safe policies from the unsafe policies. The constraint (red, dashed) will be orthogonal to this hyperplane. For this example, because