[論文レビュー] Time-series Imputation and Prediction with Bi-Directional Generative Adversarial Networks

Mehak Gupta, Rahmatollah Beheshti|arXiv (Cornell University)|Sep 18, 2020

Machine Learning in Healthcare参考文献 28被引用数 9

ひとこと要約

本稿では、不規則で不完全かつ可変長の多変量時系列データに対して、時系列補完と予測を統合的に実行する双方向生成対抗ネットワーク（Bi-GAN）を提案する。欠損値の補完に双方向再帰的生成器を活用し、現実性の向上にため判別器を用いることで、事前に定義された時間窓が不要な柔軟な任意時刻予測を実現し、小児健康記録および公開データセットにおけるBMI予測において、最先端手法を上回る性能を発揮する。

ABSTRACT

Multivariate time-series data are used in many classification and regression predictive tasks, and recurrent models have been widely used for such tasks. Most common recurrent models assume that time-series data elements are of equal length and the ordered observations are recorded at regular intervals. However, real-world time-series data have neither a similar length nor a same number of observations. They also have missing entries, which hinders the performance of predictive tasks. In this paper, we approach these issues by presenting a model for the combined task of imputing and predicting values for the irregularly observed and varying length time-series data with missing entries. Our proposed model (Bi-GAN) uses a bidirectional recurrent network in a generative adversarial setting. The generator is a bidirectional recurrent network that receives actual incomplete data and imputes the missing values. The discriminator attempts to discriminate between the actual and the imputed values in the output of the generator. Our model learns how to impute missing elements in-between (imputation) or outside of the input time steps (prediction), hence working as an effective any-time prediction tool for time-series data. Our method has three advantages to the state-of-the-art methods in the field: (a) single model can be used for both imputation and prediction tasks; (b) it can perform prediction task for time-series of varying length with missing data; (c) it does not require to know the observation and prediction time window during training which provides a flexible length of prediction window for both long-term and short-term predictions. We evaluate our model on two public datasets and on another large real-world electronic health records dataset to impute and predict body mass index (BMI) values in children and show its superior performance in both settings.

研究の動機と目的

• 予測モデリングにおける不規則で欠損値のある多変量時系列データの課題に対処すること。
• 固定された入力および予測窓長を必要としない統一された深層学習フレームワークを構築すること。
• 訓練時に予測範囲を事前に指定する必要がないため、柔軟に長期的・短期的予測を可能にすること。
• 特に小児BMI予測などの医療応用を含む、実世界の時系列データにおける性能向上を図ること。
• 単一のモデルが複雑で不完全な時系列状況において、補完と予測の両タスクを効果的に処理できることを示すこと。

提案手法

• 生成器は、不完全な時系列入力を受け取り、欠損値の妥当な補完を生成する双方向再帰ニューラルネットワーク（Bi-RNN）である。
• 判別器は、実際の時系列データと生成器から得られる（補完済みの）系列を区別するように学習される。
• 生成器と判別器を同時に最適化するミニマックス対抗的目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 双方向アーキテクチャにより、より正確な補完と予測のため、過去および未来の文脈を活用できる。
• 予測窓長の知識が不要なため、動的で柔軟な予測が可能である。
• 本フレームワークは、途中補完および順序外予測をサポートしており、任意時刻予測タスクに適している。

実験結果

リサーチクエスチョン

• RQ1 単一の深層学習モデルが、不規則で不完全かつ可変長の時系列データに対して、補完と予測の両方を効果的に実行できるか。
• RQ2 双方向アーキテクチャは、単方向モデルと比較して、補完と予測の精度をどのように向上させるか。
• RQ3 事前に定義された時間窓がなくても、長期的および短期的予測にどの程度一般化できるか。
• RQ4 実世界のデータセットにおいて、最先端手法と比較してBi-GANの補完および予測性能はどのように差がつくか。
• RQ5 電子歴史記録のような複雑な実世界の時系列データにおいて、モデルは高い性能を維持できるか。

主な発見

• Bi-GANは、2つの公開データセットおよび大規模な実世界の電子歴史記録データセットにおいて、最先端手法と比較して補完および予測の両タスクで優れた性能を達成した。
• モデルは強力な一般化能力を示し、訓練時に窓長を指定しなくても、短期的および長期的予測の両方において正確な予測が可能であった。
• 双方向生成器により、過去および未来の時系列ポイントからの文脈的依存関係を捉えることができ、補完品質が著しく向上した。
• 対抗的訓練フレームワークにより、生成された系列の現実性が向上し、より信頼性の高い予測が得られた。
• 小児BMI予測タスクにおいて、平均絶対誤差および平均二乗誤差の両指標で、既存手法を上回った。
• モデルは、アーキテクチャやハイパーパrameterの再設定なしに、欠損値を含む可変長シーケンスを処理できるため、その頑健性と柔軟性が顕著に示された。