[논문 리뷰] Inferring Temporal Logic Properties from Data using Boosted Decision Trees

Erfan Aasi, Cristian-Ioan Vasile외 2명|arXiv (Cornell University)|2021. 05. 24.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 시간 시리즈 데이터로부터 해석 가능한 신호 시간 논리(STL) 공식과 예측기를 학습하기 위한 새로운 부스팅된 결정 트리(BDT) 프레임워크를 소개한다. 이 프레임워크는 부분적으로 관측된(프리픽스) 신호로부터 실시간으로 신호 레이블을 증분 예측할 수 있도록 한다. 이 방법은 이전 연구 대비 더 높은 예측 정확도와 더 나은 런타임 확장성을 확보하였으며, 특히 자율 주행 및 해상 감시 응용 분야에서 뛰어난 조기 이상 탐지 능력을 보였다.

ABSTRACT

Many autonomous systems, such as robots and self-driving cars, involve real-time decision making in complex environments, and require prediction of future outcomes from limited data. Moreover, their decisions are increasingly required to be interpretable to humans for safe and trustworthy co-existence. This paper is a first step towards interpretable learning-based robot control. We introduce a novel learning problem, called incremental formula and predictor learning, to generate binary classifiers with temporal logic structure from time-series data. The classifiers are represented as pairs of Signal Temporal Logic (STL) formulae and predictors for their satisfaction. The incremental property provides prediction of labels for prefix signals that are revealed over time. We propose a boosted decision-tree algorithm that leverages weak, but computationally inexpensive, learners to increase prediction and runtime performance. The effectiveness and classification accuracy of our algorithms are evaluated on autonomous-driving and naval surveillance case studies.

연구 동기 및 목표

• 완전한 신호 관측 이전에 결정을 내야 하는 로봇 분야의 실시간 의사결정 문제에 대응하기 위해, 완전하지 않은 데이터로부터 신호 레이블을 조기에 예측할 수 있도록 한다.
• 형식적 시간 논리(STL)와 기계 학습을 융합한 설명 가능한 학습 기반 제어 프레임워크를 개발하여 인간이 신뢰할 수 있는 로봇 의사결정을 지원한다.
• 신호가 시간이 지남에 따라 점진적으로 노출됨에 따라 STL 공식의 만족도를 예측하는 증분 학습 문제를 정의하고 해결한다.
• 공식 합성에 정확한 미니멀 선형 프로그래밍(MILP) 최적화를 활용한 부스팅된 결정 트리 접근법을 통해 기존 방법 대비 더 높은 예측 정확도와 런타임 효율성을 확보한다.
• 자율 주행 및 해상 감시를 포함한 실제 로봇 시나리오에서 프레임워크를 평가하여 이상 탐지 분야에서의 실용성을 입증한다.

제안 방법

• 프레임워크는 (STL 공식, 예측 함수)의 쌍을 이진 분류기로 학습하며, 이 공식은 논리적 성질을 정의하고 예측 함수는 부분적 신호로부터 그 만족도를 추정한다.
• 부스팅된 결정 트리(BDT) 알고리즘은 적응적 가중치를 사용하여 약한 학습기—한정된 깊이의 결정 트리—를 조합함으로써 전체 예측 정확도를 향상시킨다. 이는 AdaBoost와 유사하다.
• 각 트리 노드에서, 불순도가 최소가 되는 STL 공식을 계산하기 위해 정확한 혼합정수선형계획(MILP) 수식을 사용하여 각 분할에서 최적의 공식 합성을 보장한다.
• 증분 학습 변형은 새로운 신호 데이터가 도착함에 따라 모델을 동적으로 업데이트하며, 신호 완료 이전에도 실시간 예측이 가능하다. 이는 신호 진행 정도에 따라 업데이트를 트리거하는 휴리스틱을 포함한다.
• 오프라인 버전은 완전한 신호를 처리하지만, 증분 버전은 신호 프리픽스를 평가함으로써 조기 예측을 지원하며, 시간이 중요한 응용 분야에 매우 중요하다.
• 성능 평가에는 5- 및 10-폴드 교차검증을 사용하였으며, 기존 방법과의 비교를 통해 오분류율(MCR), 증분 오분류율(IMCR), 런타임을 측정하였다.

실험 결과

연구 질문

• RQ1 학습 프레임워크는 시간 순서가 지켜진 완전하지 않은 신호로부터 실시간으로 시간 논리 성질의 만족도를 예측할 수 있는가?
• RQ2 시간 시리즈 데이터로부터 자동으로 설명 가능한 논리 기반 분류기를 합성하여 인간이 이해할 수 있는 로봇 의사결정을 지원할 수 있는가?
• RQ3 MILP 최적화를 통한 STL 공식 합성과 함께 부스팅된 결정 트리 접근법을 사용할 경우, 예측 정확도 및 런타임 측면에서 기존 방법 대비 성능 향상은 어느 정도인가?
• RQ4 증분 학습이 오프라인 학습보다 조기 이상 탐지 작업에서 특히 자율 주행 및 해상 감시 분야에서 어떻게 성능을 냈는가?
• RQ5 심화된 트리에서 과적합 위험이 있는 상황에서도 제안된 BDT 기반 방법은 효율적으로 확장되며 낮은 오분류율을 유지할 수 있는가?

주요 결과

• 제안된 오프라인 알고리즘이 5-폴드 교차검증에서 [6] 대비 12%의 상대적 오분류율(MCR) 향상을 보였고, 10-폴드 교차검증에서는 7% 향상을 기록하였다.
• 증분 학습 환경에서, 모델은 오프라인 방법 대비 증분 오분류율(IMCR)을 38.34%로 줄였으며, 이는 조기 예측 능력 향상을 입증한다.
• 해상 감시 사례 연구에서 증분 모델은 오프라인 방법 대비 10%의 예측 정확도 향상을 달성하여 이질적인 선박 행동을 더 이르게 탐지할 수 있었다.
• MILP 기반의 공식 최적화는 깊이 1에서 PSO보다 우수한 성능을 보였지만, 깊이 3에서 과적합 위험이 더 높았으며, 훈련 시 MCR 1.45% 대비 테스트 시 MCR 1.75%로 나타나 잠재적 과적합이 확인되었다.
• 단일 트리 방법보다 느리지만, 트리 수가 증가함에 따라 BDT 프레임워크는 더 나은 확장성을 보였으며, 증분 학습의 총 오프라인 런타임은 1시간 7분, 오프라인 학습은 8분이었고, 이는 실용적 타당성을 확인한다.
• 증분 환경에서 예측 능력은 시간이 지남에 따라 선형적으로 향상되었으며, 더 많은 신호 데이터가 이용 가능해질수록 MCR가 점진적으로 감소함으로써 신뢰할 수 있는 실시간 추론을 지원한다.