[논문 리뷰] Adding Neural Network Controllers to Behavior Trees without Destroying Performance Guarantees

Christopher Iliffe Sprague, Petter Ögren|arXiv (Cornell University)|2018. 09. 26.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 신경망 제어기를 행동 트리(BTs)에 통합하면서도 안전성과 목표 수렴에 대한 형식적 보장을 유지하는 방법을 제안한다. 안전성, 모델 기반 제어, 데이터 기반 제어의 계층적 우선순위를 갖춘 BT 아키텍처를 통해, 신뢰할 수 없는 머신러닝 컴포넌트가 시스템의 안정성이나 성능을 해칠 수 없음을 보장한다. 이는 유한 시간 안전성과 수렴이 보장되는 역파운드 펜듈럼 스윙업 작업에서 입증되었다.

ABSTRACT

In this paper, we show how Behavior Trees that have performance guarantees, in terms of safety and goal convergence, can be extended with components that were designed using machine learning, without destroying those performance guarantees. Machine learning approaches such as reinforcement learning or learning from demonstration can be very appealing to AI designers that want efficient and realistic behaviors in their agents. However, those algorithms seldom provide guarantees for solving the given task in all different situations while keeping the agent safe. Instead, such guarantees are often easier to find for manually designed model-based approaches. In this paper we exploit the modularity of behavior trees to extend a given design with an efficient, but possibly unreliable, machine learning component in a way that preserves the guarantees. The approach is illustrated with an inverted pendulum example.

연구 동기 및 목표

• 신뢰할 수 없는 데이터 기반 제어기를 자율 시스템에 통합할 때 안전성이나 목표 수렴 보장을 해치지 않도록 하는 도전 과제를 해결하기 위해.
• 수동으로 설계된 모델 기반 BT에 머신러닝 컴포넌트를 통합할 때도 형식적 성능 보장(안전성 및 유한 시간 수렴)을 유지하기 위해.
• 효율적인 학습된 행동을 허용하면서도 전체 시스템의 정확성을 유지할 수 있는 모듈식이고 재구성 가능한 프레임워크를 제공하기 위해.
• 하이브리드 BT에 ML 컴포넌트가 포함된 상태에서 제어기 간 충돌과 데드락을 피할 수 있는 조건을 형식화하기 위해.
• 기본 제어 문제인 역파운드 펜듈럼 스윙업 작업에서 이 방법을 구현하기 위해.

제안 방법

• BT 아키텍처는 세 단계의 우선순위 계층으로 구성된다: 최고 우선순위의 안전성 제어기, 중간 우선순위의 모델 기반 제어기, 최저 우선순위의 데이터 기반(신경망) 제어기.
• 안전성 제어기는 시스템이 사전 정의된 불안전 영역에 진입할 경우에만 활성화되며, 안정성을 확보하기 위해 양의 불변 집합을 갖는 PD 유사 제어 법칙을 사용한다.
• 실행 비용(예: 시간 또는 에너지)이 임계값을 초과할 경우 모델 기반 제어기가 활성화되며, 이는 목표 영역으로의 유한 시간 수렴을 보장한다.
• 데이터 기반 제어기는 안전성 및 비용 제약 조건이 모두 충족될 때에만 실행되며, 위험 노출을 최소화한다.
• 스위칭 동안 시스템 행동을 보장하기 위해 라파노프 기반 안정성 이론과 유한 시간 안전성(FTS) 분석을 사용하여 형식적 조건을 유도한다.
• 데이터 기반 제어기는 포트리아긴의 최대 원리에서 유도된 최적 궤적을 기반으로 행동 복제를 통해 훈련되며, 소프트플러스와 탄젠트 활성화 함수를 사용하는 3층의 MLP를 사용한다.

실험 결과

연구 질문

• RQ1 신경망 제어기가 안전성이나 수렴 보장을 해치지 않도록 행동 트리에 안전하게 통합될 수 있는 조건는 무엇인가?
• RQ2 행동 트리의 반응성과 모듈성을 어떻게 활용하여 하이브리드 제어 시스템에서 제어기 간 충돌을 방지할 수 있는가?
• RQ3 안전성, 모델 기반, 데이터 기반 제어기를 조합했을 때 유한 시간 안전성과 목표 수렴을 보장할 수 있는 형식적 조건는 무엇인가?
• RQ4 최적 궤적을 기반으로 훈련된 데이터 기반 제어기를 하이브리드 BT 프레임워크에서 안전하게 사용할 수 있으며, 전체 시스템의 성능 보장을 유지할 수 있는가?
• RQ5 실행 비용을 기반으로 데이터 기반 제어기에서 모델 기반 제어기로 전환하는 조건를 어떻게 형식적으로 보장할 수 있는가?

주요 결과

• 계층적 우선순위를 갖춘 제안된 BT 아키텍처는 양의 불변 집합과 라파노프 분석을 통해 안전성 제어기의 유한 시간 안전성(FTS)을 보장한다.
• 모델 기반 제어기는 안정성 이론과 시스템 동역학 분석을 통해 목표 영역으로의 유한 시간 수렴을 보장한다.
• 데이터 기반 제어기는 검증되지 않은 궤적에서 평균 제곱 오차(MSE)가 2.2745e-3을 기록하여 훈련 분포 내에서 뛰어난 성능을 보였다.
• 전체 시스템은 모든 요구되는 성능 보장을 충족한다: 안전성은 유지되며, 정의된 스위칭 논리 하에 목표 수렴이 보장된다.
• стрict 우선순위와 형식적 스위칭 조건을 통해 데드락과 제어기 간 충돌을 성공적으로 방지한다.
• 역파운드 펜듈럼 사례는 하이브리드 BT 설계가 데이터 기반 제어기가 변칙 상황에서 신뢰할 수 없더라도 안전한 작동과 효율적인 스윙업 성능을 동시에 달성할 수 있음을 보여준다.