[論文レビュー] Distribution Regression for Sequential Data

Maud Lemercier, Cristopher Salvi+3 more|arXiv (Cornell University)|Jun 10, 2020

Bayesian Methods and Mixture Models参考文献 60被引用数 6

ひとこと要約

本論文は、確率解析からの期待シグネチャを用いて不規則にサンプリングされた多次元時系列をモデル化する、特徴ベースおよびカーネルベースの2つの新しい分布回帰手法を提案する。これらの手法は、熱力学、ファイナンス、農業分野のデータセットにおいて最先端の性能を達成し、複雑で順序付けられたデータストリームを扱う際の頑健性と普遍性を示している。

ABSTRACT

Distribution regression refers to the supervised learning problem where labels are only available for groups of inputs instead of individual inputs. In this paper, we develop a rigorous mathematical framework for distribution regression where inputs are complex data streams. Leveraging properties of the expected signature and a recent signature kernel trick for sequential data from stochastic analysis, we introduce two new learning techniques, one feature-based and the other kernel-based. Each is suited to a different data regime in terms of the number of data streams and the dimensionality of the individual streams. We provide theoretical results on the universality of both approaches and demonstrate empirically their robustness to irregularly sampled multivariate time-series, achieving state-of-the-art performance on both synthetic and real-world examples from thermodynamics, mathematical finance and agricultural science.

研究の動機と目的

• 複雑で不規則にサンプリングされた多次元時系列における分布回帰のための有効な手法の欠如に対処すること。
• データストリームの群からスカラーのターゲットへの関数を学習する理論的根拠に基づいたフレームワークを構築すること。
• シグネチャベースの特徴量およびカーネルを用いて、パスの分布上の連続関数の普遍的近似を可能にすること。
• 非交換的で高次元の時系列データを効果的に処理できるスケーラブルで頑健なアルゴリズムを提供すること。

提案手法

• リプシッツ連続パス上の確率測度のための普遍的特徴マップとしてのパスワイズ期待シグネチャを導入する。
• 期待シグネチャとガウスカーネルを組み合わせることで普遍的カーネルを構築し、カーネルトリックを用いたカーネルベース学習を可能にする。
• 不規則にサンプリングされた時系列をバナッハ空間内の連続パスに、区分的線形補間を用いて埋め込む。
• 確率的解析からのシグネチャおよび期待シグネチャの理論を応用し、パスワイズのダイナミクスと順序依存性を捉える。
• 2つの異なる学習枠組みを設計：多数の低次元ストリームに対しては特徴ベース、少数の高次元ストリームに対してはカーネルベース。
• 時系列の群をパス上の経験的測度として表現することで、分布レベルの回帰を可能にする。

実験結果

リサーチクエスチョン

• RQ1 順序と不規則なサンプリングを捉えることができる、時系列の分布に対する普遍的特徴マップを構築できるか？
• RQ2 期待シグネチャを用いてパスの分布上に普遍的カーネルを定義できるか？ これによりカーネルベース学習が可能になるか？
• RQ3 不規則なサンプリングを伴う時系列の分布回帰において、シグネチャベース手法は既存手法よりも優れているか？
• RQ4 異なるデータ環境下での特徴ベースとカーネルベースのアプローチにおけるスケーラビリティとパフォーマンスのトレードオフはいかほどか？
• RQ5 提案手法は、熱力学、ファイナンス、農業など多様な分野の実世界時系列データにおいて最先端の結果を達成できるか？

主な発見

• 特徴ベース手法（kes）とカーネルベース手法（ses）の両方が、合成および実世界の分布回帰タスクで最先端の性能を達成した。
• 金融インデックスのボラティリティデータセットでは、kesとsesがそれぞれMSE 0.16 (0.03) と 0.21 (0.05) に低下させ、DR-RBF、DR-Matern32、DeepSetsを上回った。
• 作物収量予測では、sesがMSE 0.62 (0.10) とMAPE 10.98 (1.12) を達成し、ベースラインのMSE 2.38 (0.60) を顕著に上回った。
• グループサイズが1,000から5,000に増加した際、kesの実行時間は約1分から15分に増加したが、sesは約1分で安定した。
• グループ内の時系列数が増加するにつれて両手法の性能が向上したため、理論的予想が裏付けられた。
• 熱力学、ファイナンス、農業など多様な分野において、不規則なサンプリングや高次元の時系列入力に対しても、両手法は頑健であることが示された。