[論文レビュー] Directly Modeling Missing Data in Sequences with RNNs: Improved Classification of Clinical Time Series

Zachary C. Lipton, David C. Kale+1 more|arXiv (Cornell University)|Jun 13, 2016

Machine Learning in Healthcare被引用数 39

ひとこと要約

本論文では、臨床時系列データの欠損データをRNNを用いて直接モデル化する手法を提案し、欠損の有無を示すバイナリ指標を用いることで、多ラベル診断分類においてAUCおよびF1スコアが顕著に向上することを示している。RNNは欠損パターンから複雑な依存関係を学習でき、特定の疾患に関しては検査結果そのものよりも予測的であることが明らかになった。

ABSTRACT

We demonstrate a simple strategy to cope with missing data in sequential inputs, addressing the task of multilabel classification of diagnoses given clinical time series. Collected from the intensive care unit (ICU) of a major urban medical center, our data consists of multivariate time series of observations. The data is irregularly sampled, leading to missingness patterns in re-sampled sequences. In this work, we show the remarkable ability of RNNs to make effective use of binary indicators to directly model missing data, improving AUC and F1 significantly. However, while RNNs can learn arbitrary functions of the missing data and observations, linear models can only learn substitution values. For linear models and MLPs, we show an alternative strategy to capture this signal. Additionally, we evaluate LSTMs, MLPs, and linear models trained on missingness patterns only, showing that for several diseases, what tests are run can be more predictive than the results themselves.

研究の動機と目的

• ICU環境における不規則にサンプリングされた多変量臨床時系列データに伴う欠損データの課題に対処すること。
• RNNが欠損パターンをノイズではなく信号として効果的に学習できるかどうかを評価すること。
• RNN、LSTM、MLP、線形モデルが欠損パターンのみで学習した場合の性能を比較すること。
• 特定の診断に関して、どの検査が実施されたかというパターンが、実際の検査値よりも予測に寄与するかどうかを調査すること。
• 補完処理を伴わずに、順序付き臨床データにおける欠損データを単純かつ効果的に扱う戦略の開発

提案手法

• 再サンプリングされた臨床時系列において、欠損状態をバイナリ指標として表現し、欠損値を情報的な特徴量として扱う。
• 欠損状態を示すバイナリマスクを追加したシーケンスを用いて、RNNおよびLSTMを学習する。
• AUCおよびF1を指標として用い、多ラベル診断分類タスクでモデルを評価する。
• 検査の実施有無（すなわち、どの検査が行われたか）のみを用いて別個のモデルを学習し、値とは独立して予測力を評価する。
• RNNが欠損データおよび観測値の任意の関数を学習できる能力と、線形モデルが補完値に依存するという点を比較する。
• 不規則に間隔が空いたICUデータに対して標準的な再サンプリングを適用し、固定長のシーケンスを作成してモデリングする。

実験結果

リサーチクエスチョン

• RQ1 RNNは補完処理を伴わずに、臨床時系列の欠損パターンを効果的に学習できるか？
• RQ2 バイナリ指標を用いて欠損データを直接モデル化することは、標準的な補完処理や補完値に依存する手法と比較して、分類性能にどのように影響するか？
• RQ3 どの検査が実施されたかというパターンが、検査結果とは独立して診断を予測するのにどの程度有用か？
• RQ4 RNNは欠損データの信号から学習する際、線形モデルやMLPを上回る性能を示すか？
• RQ5 欠損の構造自体が、多ラベル臨床診断分類において意味のある信号であるか？

主な発見

• バイナリ指標による欠損状態のモデル化を経たRNNは、多ラベル臨床診断分類においてAUCおよびF1スコアが顕著に向上した。
• どの検査が実施されたかというパターンが、特に直接モデル化された場合、特定の診断に対して実際の検査結果よりも予測的であることが示された。
• 線形モデルおよびMLPも同様のバイナリ欠損指標を活用できるが、RNNとは異なり補完値に基づく信号しか学習できないという制限がある。
• LSTM、MLP、線形モデルが欠損パターンのみで学習した場合でも有意義な性能を示しており、検査の順序付けと可用性に診断情報が内蔵されていることが示された。
• 本手法は補完処理を回避し、欠損状態を直接信号としてモデル化することで、不規則にサンプリングされた臨床データにおけるモデルのロバスト性と性能が向上した。
• RNNは線形ベースラインと比較して、欠損状態と臨床的アウトカムの間の複雑な非線形関係を学習する能力に優れていることが示された。