[論文レビュー] Learning to Exploit Invariances in Clinical Time-Series Data using Sequence Transformer Networks

Jeeheh Oh, Jiaxuan Wang+1 more|PubMed|Aug 21, 2018

Machine Learning in Healthcare参考文献 23被引用数 18

ひとこと要約

本論文では、臨床的時系列データにおけるタスク固有の不変性（例：時間的シフト、アモルトスケーリング、オフセット調整）を学習できる、エンド・トゥ・エンドでトレーニング可能なアーキテクチャ「Sequence Transformer Networks」を提案する。不要なばらつきを低減するデータ駆動型変換を適用することで、入院中死亡予測の予測性能が向上し、ベースラインのCNNのAUROC 0.838に対し、0.851を達成した。

ABSTRACT

Recently, researchers have started applying convolutional neural networks (CNNs) with one-dimensional convolutions to clinical tasks involving time-series data. This is due, in part, to their computational efficiency, relative to recurrent neural networks and their ability to efficiently exploit certain temporal invariances, (<i>e.g</i>., phase invariance). However, it is well-established that clinical data may exhibit many other types of invariances (<i>e.g</i>., scaling). While preprocessing techniques, (<i>e.g</i>., dynamic time warping) may successfully transform and align inputs, their use often requires one to identify the types of invariances in advance. In contrast, we propose the use of Sequence Transformer Networks, an end-to-end trainable architecture that learns to identify and account for invariances in clinical time-series data. Applied to the task of predicting in-hospital mortality, our proposed approach achieves an improvement in the area under the receiver operating characteristic curve (AUROC) relative to a baseline CNN (AUROC=0.851 vs. AUROC=0.838). Our results suggest that a variety of valuable invariances can be learned directly from the data.

研究の動機と目的

• 臨床的時系列データにおけるタスク固有の不変性を活用する課題に取り組むこと。これらの不変性はしばしば事前に未知であり、前処理が困難である。
• 時間的・アモルトスケーリング・オフセット不変性をデータから直接学習できるエンド・トゥ・エンドでトレーニング可能なフレームワークを構築すること。手動で設計された前処理に依存しない。
• 特に48時間分のICUデータを用いた入院中死亡予測を含む、臨床的時系列タスクにおける予測性能の向上を図ること。
• 学習された不変性がクラス内類似性を向上させ、モデルの汎化性能を向上させるかどうかを調査すること。

提案手法

• 本手法は、入力およびタスクに依存する変換を時系列入力に対して学習する、シーケンス・トゥ・シーケンス変換モジュールを採用する。
• 変換には、時間的圧縮およびシフト（可学習パラメータθ₁, θ₀）と、スケーリングおよびオフセット（φ₁, φ₀）が含まれ、患者ごとに適用される。
• 類似した臨床的結果を持つ信号を一致させるために対照的損失（contrastive loss）を用いてエンド・トゥ・エンドで訓練し、クラス内分散を低減する。
• このアーキテクチャは、1D-CNNバックボーンにこれらの学習済み変換を統合しており、時間的パターンと不変性の共同学習を可能にする。
• 評価はMIMIC-IIIデータセットを用い、AUROCおよびAUPRを指標として、標準的な1D-CNNベースラインと比較した。
• 患者および特徴ごとの学習済み変換の方向性と大きさを分析するために可視化手法を用いた。

実験結果

リサーチクエスチョン

• RQ1 エンド・トゥ・エンドでトレーニング可能なモデルは、ICU時系列データにおいて臨床的に意味のある不変性（例：時間的シフト、アモルトスケーリング）を学習できるか？
• RQ2 学習された変換は、同じ結果を示す患者間のクラス内類似性にどのように影響するか？
• RQ3 これらの学習済み不変性は、入院中死亡予測の予測性能をどの程度向上させるか？
• RQ4 モデルが学習する変換は、既知の生理学的ベースライン（例：血圧、心拍数）と整合性を示すか？

主な発見

• Sequence Transformer Networkは、入院中死亡予測においてAUROC 0.851を達成し、ベースラインの1D-CNN（AUROC = 0.838）を上回った。
• モデルはクラス内ユークリッド距離を低減した：陽性クラス（28.2 vs. 34.9）および陰性クラス（26.3 vs. 31.8）、同じ結果を持つ患者間の類似性が向上したことを示している。
• 可視化により、ネットワークが平均的に信号を圧縮し、時間的に後ろ向きにシフトさせ、大きさを下方にシフトさせていることが判明。これは生理学的期待と整合的であった。
• モデルは患者全体にわたり一貫した変換トレンドを学習しており、スケーリング変換により信号の分散が低減され、アライメントが向上した。
• 時間的シフトやアモルトスケーリングといった不変性は、事前の形式の知識がなくても、データから効果的に学習可能であると示された。