[論文レビュー] A scalable end-to-end Gaussian process adapter for irregularly sampled time series classification

Steven Cheng-Xian Li, Benjamin M. Marlin|arXiv (Cornell University)|Jun 14, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用数 13

ひとこと要約

本稿では、近似的なGP回帰を用いて疎で非一様なデータを不確実性を考慮した表現に変換することで、不規則にサンプリングされた時系列を分類するスケーラブルでエンドツーエンドのガウス過程アダプタを提案する。構造的カーネル補間とランチョスに基づく行列近似を組み合わせることで、勾配ベースの分類器と連携可能な微分可能トレーニングを可能にし、uWaveなどのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

We present a general framework for classification of sparse and irregularly-sampled time series. The properties of such time series can result in substantial uncertainty about the values of the underlying temporal processes, while making the data difficult to deal with using standard classification methods that assume fixed-dimensional feature spaces. To address these challenges, we propose an uncertainty-aware classification framework based on a special computational layer we refer to as the Gaussian process adapter that can connect irregularly sampled time series data to any black-box classifier learnable using gradient descent. We show how to scale up the required computations based on combining the structured kernel interpolation framework and the Lanczos approximation method, and how to discriminatively train the Gaussian process adapter in combination with a number of classifiers end-to-end using backpropagation.

研究の動機と目的

• 固定次元の特徴空間を持たず、疎な観測による高い不確実性を伴う、疎で不規則にサンプリングされた時系列の分類という課題に対処すること。
• 大規模な設定では計算的に非現実的である正確なガウス過程回帰の計算コスト（O(n³)）を克服すること。
• 任意の勾配学習可能な分類器と連携可能な微分可能で不確実性を考慮した表現層を開発することにより、エンドツーエンドトレーニングを可能にすること。
• m個の誘導点を用いて、時間と空間の複雑さをO(n)とO(m log m)に削減する効率的な近似技術を通じて、スケーラブルな推論とトレーニングを実現すること。
• ガウス過程アダプタの判別的微調整が、周辺尤度最大化や平均値のみのベースラインよりも分類精度を向上させることを示すこと。

提案手法

• 不規則な時系列を固定次元の不確実性を考慮した表現にマップする微分可能な計算層としてガウス過程アダプタを導入し、基準時刻点における事後GP平均と共分散を用いる。
• GP共分散行列の近似に構造的カーネル補間（SKI）を用い、正確なGP推論のO(n³)コストをm個の誘導点を用いてO(n)に削減する。
• GP事後分布からのサンプリングに必要な行列関数を効率的に近似するためにランチョス法を適用し、高速で微分可能なサンプリングを実現する。
• 勾配のバックプロpagationを繰り返しランチョスプロセスに適用することで、GPハイパーパrameterと分類器の重みを同時に最適化可能な深層学習パイプラインにGPアダプタを統合する。
• 指数変換を用いてGPカーネルハイパーパrameter（例：長さスケール、振幅、ノイズ分散）を再パrameter化し、最適化中に正の値を保証する。
• バリデーション性能に基づく早期停止を用いて、Nesterovモーメントを伴う確率的勾配降下法で全システムをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 不規則にサンプリングされた時系列の分類器に対してエンドツーエンドトレーニングを可能にする、微分可能で不確実性を考慮した表現層を構築できるか？
• RQ2 GPベースの表現学習の計算コストを低減することで、長時間系列や大規模時系列にスケーリングできるか？
• RQ3 GPアダプタのエンドツーエンド判別的トレーニングは、従来の手法（周辺尤度最大化や平均値のみの補間）を上回るか？
• RQ4 GP事後分布における不確実性の組み込みが、決定論的ベースラインと比較して分類精度をどの程度向上させるか？
• RQ5 SKIやランチョスベースのサンプリングといった近似技術が、実際の推論速度とモデル性能にどのように影響を与えるか？

主な発見

• 畳み込みニューラルネットワークと組み合わせたGPアダプタのエンドツーエンド判別的トレーニングは、uWaveデータセットで91.41%の精度を達成し、UACフレームワークを用いた次の最高手法（88.17%）を顕著に上回った。
• 不確実性を考慮したサンプリング（UAC）を備えたGPアダプタは、平均値のみの予測（IMP）と比較して、ロジスティック回帰で1.22%、MLPで1.46%、ConvNetで2.23%の分類精度向上を達成した。
• 提案された近似手法は、正確なGPサンプリングと比較して1〜3桁の高速化を達成し、特に長時間系列で最大の利得が得られた。
• ランチョスプロセスを介したバックプロパゲーションは実行可能で効果的であったが、ランチョスベクトルの再帰的依存関係のため、逆伝播が順伝播よりもコストが高かった。
• MEGカーネルをGPアダプタを介して実装した場合、エンドツーエンドトレーニングで86.61%の精度を達成し、単体での周辺尤度バージョンを上回った。
• より深いモデル（例：ConvNet）は不確実性を考慮したトレーニングから最も恩恵を受け、疎な設定下での不確実性モデリングの利点が顕著に現れた。