[論文レビュー] Recover Missing Sensor Data with Iterative Imputing Network.

Jingguang Zhou, Zili Huang|arXiv (Cornell University)|Jan 1, 2017

Air Quality Monitoring and Forecasting被引用数 5

ひとこと要約

本稿では、北京の大気質および気象データセットにおいて、さまざまな欠損率下で、従来の補間ベースの手法を上回る性能を示す、潜在的時間的ダイナミクスを活用した反復的補完ネットワーク（IIN）を提案する。文脈的依存関係を反復的精錬によってモデル化することで、単純な特徴空間補間を超える複雑な時間的パターンを捉えることができ、補完精度が向上する。

ABSTRACT

Sensor data has been playing an important role in machine learning tasks, complementary to the human-annotated data that is usually rather costly. However, due to systematic or accidental mis-operations, sensor data comes very often with a variety of missing values, resulting in considerable difficulties in the follow-up analysis and visualization. Previous work imputes the missing values by interpolating in the observational feature space, without consulting any latent (hidden) dynamics. In contrast, our model captures the latent complex temporal dynamics by summarizing each observation's context with a novel Iterative Imputing Network, thus significantly outperforms previous work on the benchmark Beijing air quality and meteorological dataset. Our model also yields consistent superiority over other methods in cases of different missing rates.

研究の動機と目的

• 機械学習応用における欠損センサー・データの課題に対処すること。これは、下流の分析や可視化を妨げる。
• 観測特徴空間の補間に依存するのみで、時間的ダイナミクスの背後にある要因をモデル化しない既存の補完手法の限界を克服すること。
• 深層学習アプローチを開発し、センサー・データ内の複雑で隠れた時間的パターンを捉えることにより、補完精度を向上させること。
• 特に実世界の環境監視シナリオにおいて、さまざまな欠損データ率において一貫した性能向上を達成すること。

提案手法

• 時系列の文脈的表現を用いて、反復的に補完値を精錬することで、センサー・データをモデル化する反復的補完ネットワーク（IIN）を提案する。
• 観測済みおよび補完済みのデータポイントからの時間的依存関係および潜在的ダイナミクスを符号化する、画期的な文脈要約メカニズムを用いる。
• 観測データにおける再構成損失を最小化するように、モデルをエンドツーエンドで訓練する。同時に、反復的に補完値を改善する。
• 欠損値の予測と文脈表現の更新を交互に繰り返すことで、時間の経過とともに精度を向上させる反復的精錬ステップを統合する。
• RNN や Transformer などの再帰的または逐次的モデリングコンponentsを活用し、センサー時系列における長距離時間的依存関係を捉える。
• 自己教師ありの方法でモデルを適用し、時系列の進化する文脈を用いて、補完値を段階的に精錬する。

実験結果

リサーチクエスチョン

• RQ1 従来の特徴空間補間と比較して、潜在的時間的ダイナミクスをモデル化することで、センサー・データ補完の正確性が向上するか？
• RQ2 提案された反復的補完ネットワーク（IIN）は、実世界のセンサー・データセットにおけるさまざまな欠損率下で、どのように性能を発揮するか？
• RQ3 反復的精錬メカニズムは、生の観測値では見えない複雑な時間的パターンを捉えることで、補完品質を向上させるか？
• RQ4 モデルは、さまざまなセンサー・モダリティおよび環境監視シナリオに、どの程度一般化できるか？

主な発見

• 反復的補完ネットワーク（IIN）は、ベンチマークとしての北京の大気質および気象データセットにおいて、従来の補間ベースの手法を著しく上回る性能を発揮する。
• モデルは、さまざまな欠損データ率において一貫した優位性を示しており、多様なデータ不足状況における頑健性を実証している。
• 潜在的時間的ダイナミクスをモデル化することで、IINは、単純な特徴空間補間では表現できない複雑な時間的パターンを捉えている。
• 反復的精錬プロセスにより、補完値が次第に高精度になることが確認され、再構成の忠実度が時間の経過とともに向上している。