[論文レビュー] Inferring Temporal Logic Properties from Data using Boosted Decision Trees

Erfan Aasi, Cristian-Ioan Vasile+2 more|arXiv (Cornell University)|May 24, 2021

Bayesian Modeling and Causal Inference参考文献 27被引用数 4

ひとこと要約

本稿は、時系列データから解釈可能な信号時相論理（STL）式および予測子を学習するための新規なブーストド決定木（BDT）フレームワークを導入し、部分的に観測された（接頭辞付きの）信号からのリアルタイムでインクリメンタルな信号ラベル予測を可能にしている。この手法は、先行研究と比較して、特に自律走行および海事監視の応用分野において、より高い予測精度と優れた実行時スケーラビリティを達成しており、早期異常検出能力も向上している。

ABSTRACT

Many autonomous systems, such as robots and self-driving cars, involve real-time decision making in complex environments, and require prediction of future outcomes from limited data. Moreover, their decisions are increasingly required to be interpretable to humans for safe and trustworthy co-existence. This paper is a first step towards interpretable learning-based robot control. We introduce a novel learning problem, called incremental formula and predictor learning, to generate binary classifiers with temporal logic structure from time-series data. The classifiers are represented as pairs of Signal Temporal Logic (STL) formulae and predictors for their satisfaction. The incremental property provides prediction of labels for prefix signals that are revealed over time. We propose a boosted decision-tree algorithm that leverages weak, but computationally inexpensive, learners to increase prediction and runtime performance. The effectiveness and classification accuracy of our algorithms are evaluated on autonomous-driving and naval surveillance case studies.

研究の動機と目的

• 完全な信号観測が行われる前にも意思決定を実行しなければならないロボティクス分野におけるリアルタイム意思決定の課題に対処し、不完全なデータからの信号ラベルの早期予測を可能にする。
• 人間の信頼性を確保できるロボット意思決定を実現するため、形式的時相論理（STL）と機械学習を統合した解釈可能な学習ベースの制御フレームワークを構築する。
• 信号が時間経過とともに順次公開される部分信号（接頭辞）に対して、STL式の満たされ具合を段階的に予測するインクリメンタル学習問題を定式化し、解法を提示する。
• STL式合成に正確なMILP最適化を組み合わせたブーストド決定木アプローチを用いることで、既存手法と比較して予測精度と実行時効率を向上させる。
• 自律走行および海事監視を含む実世界のロボティクスシナリオにおいてフレームワークを評価し、異常検出分野における実用的有用性を示す。

提案手法

• フレームワークは、論理的性質を定義するSTL式と、部分的信号からのその満たされ具合を推定する予測関数のペアを、2値分類器として学習する。
• ブーストド決定木（BDT）アルゴリズムは、弱学習器（深さ制限付きの決定木）を適応的重み付けにより組み合わせることで、全体の予測精度を向上させる。これはAdaBoostに類似している。
• 各木のノードでは、不純度が最小となるSTL式を計算するために、正確な混合整数線形プログラミング（MILP）定式化が用いられ、各分割における最適な式合成を保証する。
• インクリメンタル学習バージョンは、新しい信号データが到着する度にモデルを動的に更新し、信号の完成前にリアルタイムで予測を可能にする。信号の進行度に基づいて更新をトリガーするヒューリスティクスが導入されている。
• オフラインバージョンは完全な信号を処理するが、インクリメンタルバージョンは信号の接頭辞を評価することで早期予測を可能にし、時間的に制限のある応用において極めて重要である。
• 本手法は5および10-fold交差検証を用いて評価され、先行研究と比較され、誤分類率（MCR）、インクリメンタルMCR（IMCR）、実行時間の指標で性能が測定されている。

実験結果

リサーチクエスチョン

• RQ1 学習フレームワークは、時間順序で与えられる不完全な信号から、リアルタイムに時相論理的性質の満たされ具合を予測できるか？
• RQ2 時系列データから自動的に解釈可能な論理ベースの分類器を合成することは可能か？ これにより、人間が理解可能なロボット意思決定を支援できるか？
• RQ3 MILP最適化を用いたBDTアプローチは、既存手法と比較して、予測精度および実行時間の面でどの程度の性能向上を達成できるか？
• RQ4 インクリメンタル学習は、オフライン学習と比較して、特に自律走行および海事監視の分野における早期異常検出タスクで優れているか？
• RQ5 提案されたBDTベースの手法は、深木における過学習リスクを考慮しても、効率的にスケーリング可能であり、低誤分類率を維持できるか？

主な発見

• 提案されたオフラインアルゴリズムは、5-fold交差検証で[6]と比較して12%の相対的改善を、10-fold交差検証では7%の改善を達成した。
• インクリメンタル学習設定では、モデルがインクリメンタルMCR（IMCR）を48.24%のオフライン手法と比較して38.34%まで低下させ、優れた早期予測能力を示した。
• 海事監視の事例研究において、インクリメンタルモデルはオフライン手法と比較して10%の予測精度向上を達成し、異常な船舶行動の早期検出を可能にした。
• MILPベースの式最適化は、初期木の深さ（深さ=1）ではPSOを上回ったが、より深い木（深さ=3）では過学習リスクが高まり、MILPでは学習時MCRが1.45%、テスト時MCRが1.75%と、潜在的な過学習が示された。
• 単一木手法より遅いものの、木の数が増加するに従い、BDTフレームワークはより良好にスケーリングした。インクリメンタル学習の総実行時間は1時間7分、オフライン学習は8分であり、実用的妥当性を確認した。
• インクリメンタル設定では、時間の経過に従い予測性能が線形に向上し、MCRが信号データの増加に伴い安定して低下した。これは、信頼性のあるリアルタイム推論を支えるものである。