[논문 리뷰] Safety-Aware Preference-Based Learning for Safety-Critical Control

Ryan K. Cosner, Maegan Tucker외 8명|arXiv (Cornell University)|2021. 12. 15.

Formal Methods in Verification인용 수 5

한 줄 요약

이 논문은 성능과 안전성을 균형 잡는 데 초점을 맞춘 안전 인지 선호 기반 학습 프레임워크를 제안한다. Safety-Aware LineCoSPAR (SA-LineCoSpar)와 Control Barrier Functions (CBFs)를 결합하여, 시뮬레이션과 하드웨어 실험 모두에서 4족 보행 로봇의 성능 향상과 안전성 확보를 달성한다. 사용자 선호도를 통해 CBF 파라미터를 조정함으로써, 과도한 경계선을 줄이고도 증명 가능한 안전성 보장을 유지한다.

ABSTRACT

Bringing dynamic robots into the wild requires a tenuous balance between performance and safety. Yet controllers designed to provide robust safety guarantees often result in conservative behavior, and tuning these controllers to find the ideal trade-off between performance and safety typically requires domain expertise or a carefully constructed reward function. This work presents a design paradigm for systematically achieving behaviors that balance performance and robust safety by integrating safety-aware Preference-Based Learning (PBL) with Control Barrier Functions (CBFs). Fusing these concepts -- safety-aware learning and safety-critical control -- gives a robust means to achieve safe behaviors on complex robotic systems in practice. We demonstrate the capability of this design paradigm to achieve safe and performant perception-based autonomous operation of a quadrupedal robot both in simulation and experimentally on hardware.

연구 동기 및 목표

• 기존 CBF 기반 제어기들이 과도하게 경계선이 되는 경향이 있기 때문에, 안전한 로봇 시스템에서 성능과 안전성의 균형을 맞추는 데 도전하는 것.
• 전문가가 설정한 보상 함수나 정성적 평가에 의존하는 것을 줄이고, 사용자 선호도를 통해 제어기 파라미터 선택을 유도하는 것.
• 과도하게 경계선이 되는 행동을 피하면서도 증명 가능한 안전성 보장을 유지하는 방법을 개발하는 것.
• 순서형 피드백(예: '행동 A가 B보다 선호됨')만을 사용하여 실시간으로 상호작용 가능한 안전 핵심 제어기의 튜닝을 가능하게 하는 것.
• 이 프레임워크를 시뮬레이션 및 실제 환경(외부 환경 포함)에서 4족 보행 로봇에 적용하여 성능을 입증하는 것.

제안 방법

• 고차원 파라미터 공간에서 선호 기반 학습에 안전 제약 조건을 통합한 베이지안 최적화 알고리즘인 Safety-Aware LineCoSpar (SA-LineCoSpar)를 제안한다.
• 센서 측정 불확실성을 다루기 위해 측정 내성 CBFs (MR-CBFs)를 통합하고, 외부 간섭을 관리하기 위해 입력-상태 안전 CBFs (ISSf-CBFs)를 적용한다.
• 최적화에 적합한 매개변수 형태로 증명 가능한 안전성을 유지할 수 있는 저차원 다층 안전 중심 제어 아키텍처를 사용한다.
• 목표 도달 비용 함수를 기반으로 한 노미널 제어기와 안전 함수의 0 초위집합을 통한 장애물 회피를 구현한 TR-OP (Tracking Robust Optimal Control) 프레임워크를 적용한다.
• 실시간으로 CBF 제약 조건을 강제하는 안전 필터를 적용하고, 입력 포화를 통해 불가능성 문제를 방지한다.
• 상태 추정을 위해 RealSense 카메라와 모션 캡처를 사용하며, 사용자 피드백은 쌍별 선호도 및 순서형 안전 레이블을 통해 수집한다.

실험 결과

연구 질문

• RQ1 정의된 보상 함수가 필요 없이도 선호 기반 학습이 CBF 기반 안전 필터의 튜닝에 효과적으로 적용될 수 있는가?
• RQ2 안전 인지 베이지안 최적화가 CBF 기반 제어기의 과도한 경계선을 줄이면서도 증명 가능한 안전성을 유지할 수 있는가?
• RQ3 사용자 선호도가 복잡한 로봇 시스템에서 높은 성능과 안전성을 동시에 확보한 제어 파라미터 탐색을 얼마나 잘 이끌 수 있는가?
• RQ4 제안된 프레임워크가 다양한 장애물 구성과 환경(외부 지형 포함) 간에도 일반화 가능한가?
• RQ5 MR-CBFs와 ISSf-CBFs의 통합이 실세계 적용에서 측정 오차 및 간섭 불확실성에 대해 얼마나 높은 강건성을 향상시키는가?

주요 결과

• SA-LineCoSpar는 제어기의 경계선을 성공적으로 줄였으며, 장애물 사이를 이동하면서 최소한의 안전 위반을 기록하면서도 목표 향한 진행을 가능하게 하였다.
• 40회의 반복(외부 환경 테스트 포함) 후에 도달한 최종 선호 행동은 다양한 장애물 배열에서 사용자가 선호하는 성능과 안전성의 균형을 확보하였다.
• 시뮬레이션 환경에서, 시각 오차(예: y축 이동 -0.1 m)가 있는 상황에서도 안전하게 장애물 사이를 통과하였으며, 진행이 불가능한 과도하게 경계선이 된 베이스라인보다 뛰어난 성능을 보였다.
• 실내 및 외부 환경에서의 하드웨어 실험을 통해 새로운 장애물 구성에 대해 학습된 정책의 일반화 능력이 확인되었으며, 보조 자료 영상에서 이를 확인할 수 있었다.
• MR-CBFs와 ISSf-CBFs의 통합은 측정 오차 및 간섭에 대한 강건성을 향상시켜 실세계의 불확실성 하에서도 안전성을 유지하였다.
• 이 연구는 선호 기반 학습을 CBF 기반 제어기 튜닝에 적용한 최초의 작업이며, MR-CBFs와 ISSf-CBFs를 통합적으로 학습 가능한 프레임워크로 조합한 최초의 사례이다.