[論文レビュー] Set Functions for Time Series

Max Horn, Michael Moor+3 more|arXiv (Cornell University)|Sep 26, 2019

Time Series Analysis and Forecasting参考文献 45被引用数 23

ひとこと要約

本稿では、各観測値を集合の要素として扱い、アテンション機構を用いた微分可能集合関数学習を活用することで、不規則にサンプリングされ、アラインメントのとれていない時系列データの分類を可能にする新規手法SeFT（Set Functions for Time Series）を提案する。本手法は、最先端モデルと比較して最大10倍高速な推論を達成するとともに、各観測値の特徴重要度の解釈が可能で、オンライン監視に適した高いスケーラビリティを有する。

ABSTRACT

Despite the eminent successes of deep neural networks, many architectures are often hard to transfer to irregularly-sampled and asynchronous time series that commonly occur in real-world datasets, especially in healthcare applications. This paper proposes a novel approach for classifying irregularly-sampled time series with unaligned measurements, focusing on high scalability and data efficiency. Our method SeFT (Set Functions for Time Series) is based on recent advances in differentiable set function learning, extremely parallelizable with a beneficial memory footprint, thus scaling well to large datasets of long time series and online monitoring scenarios. Furthermore, our approach permits quantifying per-observation contributions to the classification outcome. We extensively compare our method with existing algorithms on multiple healthcare time series datasets and demonstrate that it performs competitively whilst significantly reducing runtime.

研究の動機と目的

• 不規則にサンプリングされ、アラインメントのとれていない測定が一般的な医療データにおいて、時系列分類の課題に対処すること。
• 性能の低下や計算コストの増加を招く可能性がある補完処理や順序処理に依存しないようにすること。
• リアルタイムおよび大規模な時系列分類に適した、スケーラブルで微分可能かつ解釈可能なモデルの開発。
• 臨床意思決定の文脈におけるモデルの解釈可能性を高めるために、各観測値の寄与度分析を可能にすること。

提案手法

• 各時系列を（タイムスタンプ、値、モダリティ）の三つ組みとして扱う集合ベースの学習問題に再定式化する。
• アテンション機構を用いた微分可能な集合関数学習により、観測値をグローバル表現に集約する。
• 順序の順守を妨げない位置エンコーディングを用いて時間的文脈を保持し、RNN風の帰納的バイアスを回避する。
• すべての観測値に対してアテンション重みを計算する学習可能なアテンション機構を導入し、特徴重要度の推定を可能にする。
• オンライン監視および大規模データセットに適した、記憶効率が高く並列処理が可能なアーキテクチャを設計する。
• エンドツーエンドの学習を可能にするために、分類とアテンションに基づく解釈可能性を同時に最適化する交差エントロピー損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 順序処理の帰納的バイアスを排除した集合ベースの深層学習アプローチは、不規則にサンプリングされた時系列において、順序ベースのモデルを上回る性能を発揮できるか？
• RQ2 補完処理を回避することで、特に医療分野における時系列分類の性能とスケーラビリティが向上するか？
• RQ3 集合上でのアテンション機構は、解釈可能性のために意味的な各観測値の重要度スコアを提供できるか？
• RQ4 SeFTは、Transformer や RNN、Latent-ODE といった最先端モデルと比較して、精度、速度、メモリ効率の点で優れているか？
• RQ5 順序処理を排除した場合、位置エンコーディングを組み合わせたとしても、時系列タスクにおける性能が低下するか、それとも十分な性能が得られるか？

主な発見

• SeFTはP-Mortalityデータセットで76.8%のAUCを達成し、Transformer や Latent-ODE を含む大多数のベースラインを上回った。
• SeFTはTransformerと比較して推論時間をほぼ10倍短縮し、77.5msの推論時間（最速のベースラインは28.5ms）を達成した。
• M3-Mortalityデータセットでは70.9%のAUPRCを達成し、テストデータに潜在的な分布シフトが存在する中でも競争力のある性能を示した。
• モデルは解釈可能なアテンション重みを提供し、臨床的信頼性と意思決定支援に不可欠な各観測値の寄与度分析を可能にした。
• SeFTは優れたスケーラビリティとメモリ効率を示し、数千人の患者をリアルタイムで監視するのに適した性能を有していた。
• アブレーションスタディの結果、アテンション機構を削除すると性能が著しく低下することが確認され、これが特徴選択と表現学習における重要な役割を果たしていることが裏付けられた。