[論文レビュー] Neural Network for Weighted Signal Temporal Logic

Ruixuan Yan, A. Agung Julius|arXiv (Cornell University)|Apr 8, 2021

Time Series Analysis and Forecasting参考文献 12被引用数 6

ひとこと要約

本稿では、時間系列データから重み付き信号時相論理（wSTL）論理式をニューラルネットワークを用いて学習する微分可能で神経的記号的フレームワーク、wSTL-NNを提案する。各ニューロンはwSTL部分論理式の定量的満たし度を表しており、エンドツーエンドのバックプロパゲーション学習が可能であり、占有状態検出データセットで99.46％の分類精度を達成した。解釈可能性が向上し、従来のSTL手法と比較して700倍高速な学習が実現された。

ABSTRACT

In this paper, we propose a neuro-symbolic framework called weighted Signal Temporal Logic Neural Network (wSTL-NN) that combines the characteristics of neural networks and temporal logics. Weighted Signal Temporal Logic (wSTL) formulas are recursively composed of subformulas that are combined using logical and temporal operators. The quantitative semantics of wSTL is defined such that the quantitative satisfaction of subformulas with higher weights has more influence on the quantitative satisfaction of the overall wSTL formula. In the wSTL-NN, each neuron corresponds to a wSTL subformula, and its output corresponds to the quantitative satisfaction of the formula. We use wSTL-NN to represent wSTL formulas as features to classify time series data. STL features are more explainable than those used in classical methods. The wSTL-NN is end-to-end differentiable, which allows learning of wSTL formulas to be done using back-propagation. To reduce the number of weights, we introduce two techniques to sparsify the wSTL-NN.We apply our framework to an occupancy detection time-series dataset to learn a classifier that predicts the occupancy status of an office room.

研究の動機と目的

• 時間系列分類（TSC）における人間が読み取れる解釈可能なモデルの不足を解消するため、記号的時相論理とニューラルネットワークを統合すること。
• 従来の重み付きSTL（wSTL）の定量的意味論における限界、例えばゼロでない重みが結果に影響を及えること、重みによる影響の順序付けがないことなどを克服すること。
• wSTL論理式のバックプロパゲーションに基づく学習を可能にするエンドツーエンド微分可能なフレームワークを構築し、学習効率とモデルの解釈可能性を向上させること。
• 性能を損なわず、新たなスパarsification技術によりモデルの複雑さとメモリ使用量を低減すること。

提案手法

• wSTL-NNフレームワークでは、各ニューロンをwSTL部分論理式に対応させ、ニューロンの出力がその部分論理式の定量的満たし度を表す。
• 重み付き最小-最大集約を用いた、ゼロ重みの影響を排除し、重みによる影響の順序付けと単調性を保証する、wSTLの新しい定量的満たし関数を定義する。
• フレームワークは完全に微分可能であり、述語パラメータと重要度重みの両方をバックプロパゲーションに基づいて学習可能である。
• モデルの複雑さとメモリ使用量を低減するため、トップ-𝑠スパース化とゲート変数ベースのスパース化の2つのスパース化技術を導入する。
• wSTL-NNは、744件の訓練データと186件のテストデータを有する占有状態検出データセットで学習され、論理式構造として 𝜙̃ = □[0,15]^𝐰 π を使用する。
• モデルは16時間ポイントにわたる5次元特徴重みを持つ述語πと、正規化された重要度重み𝐰̄を学習する。

実験結果

リサーチクエスチョン

• RQ1 時間系列データから重み付き信号時相論理（wSTL）論理式を学習できる微分可能で神経的記号的フレームワークを設計できるか？
• RQ2 提案されたwSTL定量的満たし関数は、重みの順序付けとゼロ重みの非影響性を通じて、ユーザーが指定した好みを適切に反映しているか？
• RQ3 wSTL-NNは、古典的機械学習モデルと比較して高い分類精度を維持しながらも、モデルの解釈可能性を保っているか？
• RQ4 スパース化技術はwSTL-NNの性能とメモリ効率にどのように影響するか？
• RQ5 wSTL-NNは、従来の非微分可能なSTL学習手法と比較して、著しく高速に学習できるか？

主な発見

• wSTL-NNは、占有状態検出データセットで99.46％の分類精度を達成し、LDA、KNN、SVMを含むすべての古典的機械学習モデルを上回った。
• 学習されたwSTL論理式 𝜙̃ = □[0,15]^𝐰 π は解釈可能であり、5次元の述語πと16時間ポイントにわたる正規化された重み𝐰̄を有し、時間的重みの重要度を反映している。
• wSTL-NNの学習時間は0.385秒であり、非凸最適化を用いた従来のSTL学習に要する269.7秒と比較して700倍高速であった。
• ゲート変数ベースのスパース化では𝑠̄=4で98.92％の精度を達成したが、トップ-𝑠スパース化では性能を同等に保つためにより高い𝑠̄を必要とした。これはゲートベースのスパース化がより効率的であることを示している。
• wSTL-NNは高い感度（1.0）と特異度（0.991）を維持し、適合度と適合度の両方において意思決定木を上回った。
• 提案されたwSTL定量的満たし関数は、すべての3つの望ましい性質を満たしている：ゼロ重みの非影響、重みによる影響の順序付け、単調性。