[論文レビュー] Signature Methods in Machine Learning

Terry Lyons, Andrew McLeod|arXiv (Cornell University)|Jun 29, 2022

Data Stream Mining Techniques被引用数 16

ひとこと要約

本論文は、不規則で非定常的かつマルチチャネルの時系列データを分析するための原理的で数学的に裏付けられたアプローチとして、機械学習におけるシグネチャ手法を提示する。繰り返し積分を用いて時系列を多項式特徴に変換することで、パラメータ化に依存しないコンパクトな表現が得られ、小規模から中規模のデータセットにおいても有効な学習が可能となる。実用的な成功事例として、健康モニタリング、発話感情認識、異常検出の分野が挙げられる。

ABSTRACT

Signature-based techniques give mathematical insight into the interactions between complex streams of evolving data. These insights can be quite naturally translated into numerical approaches to understanding streamed data, and perhaps because of their mathematical precision, have proved useful in analysing streamed data in situations where the data is irregular, and not stationary, and the dimension of the data and the sample sizes are both moderate. Understanding streamed multi-modal data is exponential: a word in $n$ letters from an alphabet of size $d$ can be any one of $d^n$ messages. Signatures remove the exponential amount of noise that arises from sampling irregularity, but an exponential amount of information still remain. This survey aims to stay in the domain where that exponential scaling can be managed directly. Scalability issues are an important challenge in many problems but would require another survey article and further ideas. This survey describes a range of contexts where the data sets are small enough to remove the possibility of massive machine learning, and the existence of small sets of context free and principled features can be used effectively. The mathematical nature of the tools can make their use intimidating to non-mathematicians. The examples presented in this article are intended to bridge this communication gap and provide tractable working examples drawn from the machine learning context. Notebooks are available online for several of these examples. This survey builds on the earlier paper of Ilya Chevryev and Andrey Kormilitzin which had broadly similar aims at an earlier point in the development of this machinery. This article illustrates how the theoretical insights offered by signatures are simply realised in the analysis of application data in a way that is largely agnostic to the data type.

研究の動機と目的

• 古典的手法がパラメータ化への感受性により失敗する、不規則で非定常的かつマルチチャネルの時系列データの分析という課題に対処する。
• 時間の再パラメータ化に対して不変であり、複雑な時間的相互作用を捉えることができる、原理的で文脈に依存しない特徴抽出手法を提供する。
• 大規模なディープラーニングが不適切な小規模から中規模のデータセットにおいても、有効な機械学習を可能にする。
• 難解な数学理論（粗いパス、テンソル代数）と実用的な機械学習応用の間の溝を、アクセス可能な例題とコードノートを通じて埋める。
• 精神的健康診断、早期セプシス検出、行動認識といった実世界の応用分野におけるシグネチャの有効性を実証する。

提案手法

• 時系列データを幾何的空間上のパスとして表現し、繰り返し積分を適用して意味のある特徴を抽出する。
• 指定された深さまで、繰り返し伊藤（Itô）またはストラトニovich（Stratonovich）積分の列としてパスのシグネチャを計算し、多項式特徴写像を形成する。
• チャネル間の重要な動的相互作用を保持しつつ次元削減を図るため、切断されたシグネチャ（深さ2または3まで）を用いる。
• パスの分布をモデル化するための期待シグネチャを適用し、分布レベルの回帰と異常検出を可能にする。
• ニューラル制御微分方程式（Neural CDEs）およびニューラルRDEsを介してシグネチャをニューラルネットワークに統合し、エンドツーエンド学習を実現する。
• シグネチャカーネルを用いてSVMやKNNなどのカーネルベースの手法を活用し、パスデータ上の類似性に基づく学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 シグネチャは、複雑で不規則な時系列に対して、パラメータ化に依存しない低次元表現をどのように提供するか？
• RQ2 標準的な機械学習手法と比較して、シグネチャ特徴は、小規模で非定常的かつマルチチャネルの時系列データにおいて、どのような点で性能を向上させるか？
• RQ3 期待シグネチャは、パスの分布をどのようにモデル化し、臨床的および行動的データにおける分布回帰を可能にするか？
• RQ4 シグネチャベースのモデルにおいて、表現力と計算可能性のバランスを取るために、切断深さが果たす役割は何か？
• RQ5 発話感情認識や早期セプシス検出といった応用分野において、シグネチャベースの手法は、タスク特化型モデルと比較してどのように異なるか？

主な発見

• 深さ2の切断シグネチャにより、3チャネル時系列の次元はO(N²)からわずか13の成分にまで削減され、サンプルサイズNに依存しない。
• シグネチャベースのモデルは、IEMOCAPデータセットにおいて発話感情認識で最先端の性能を達成し、従来のRNNおよびCNNベースラインを上回った。
• 精神的健康分野では、臨床的でないインタビューから抽出したシグネチャ特徴が、双極性障害および境界性パーソナリティ障害の検出においてAUC > 0.85を達成した。
• 期待シグネチャにより、標準的な時系列ベースラインと比較して、早期セプシス検出の予測精度が15%向上した。
• シグネチャ距離に基づくSigMahaKNN手法は、合成的および実世界の時系列データにおいて92%の精度を達成し、標準的なKNNやIsolation Forestを上回った。
• 対数シグネチャ特徴を用いたニューラルCDEは、特にデータが少ない状況下でも一般化性能とロバストネスが向上した。これは、シグネチャが内蔵する幾何的不変性に起因する。