[論文レビュー] Time Series Data Cleaning with Regular and Irregular Time Intervals

Xi Wang, Chen Wang|arXiv (Cornell University)|Apr 17, 2020

Data Quality and Management参考文献 137被引用数 4

ひとこと要約

本サーベイは、定期的および不規則的な時間間隔における観測値の誤りに焦点を当て、時系列データクリーニング手法の包括的分類を提示する。単一ポイントの大規模／小規模誤りおよび連続的誤りのための最先端の手法をレビューし、手動または破棄に基づくアプローチに代わる自動クリーニングの重要性を強調する。今後の研究の方向性として、多次元クリーニング、ドメインに依存しない異常検出、産業およびブロックチェーン応用向けの専用ツールの開発を特定する。

ABSTRACT

Errors are prevalent in time series data, especially in the industrial field. Data with errors could not be stored in the database, which results in the loss of data assets. Handling the dirty data in time series is non-trivial, when given irregular time intervals. At present, to deal with these time series containing errors, besides keeping original erroneous data, discarding erroneous data and manually checking erroneous data, we can also use the cleaning algorithm widely used in the database to automatically clean the time series data. This survey provides a classification of time series data cleaning techniques and comprehensively reviews the state-of-the-art methods of each type. In particular, we have a special focus on the irregular time intervals. Besides we summarize data cleaning tools, systems and evaluation criteria from research and industry. Finally, we highlight possible directions time series data cleaning.

研究の動機と目的

• センサーやシステムの制限により信頼性の低いデータが生じる産業および金融分野における時系列データ誤りの増加する課題に対処する。
• 観測値の誤りを3種類に分類する：単一ポイントの大規模誤り、単一ポイントの小規模誤り、連続的誤り。これにより、的確なクリーニング戦略を可能にする。
• 時系列データの自動クリーニング手法をレビュー・体系化する。特に、従来のリレーショナルデータベース手法が不足する不規則な時間間隔の文脈を重視する。
• 現在のツールおよび評価基準におけるギャップを特定し、スケーラブルで知能的かつ応用特化型のクリーニングソリューションのための今後の研究方向性を提案する。

提案手法

• 時系列誤りを3つのカテゴリに分類する：単一ポイントの大規模誤り（孤立した点での著しい逸脱）、単一ポイントの小規模誤り（孤立した点での微小な逸脱）、連続的誤り（連続する複数の誤った点）。
• 統計的・機械学習的・モデルベースのアプローチを含む、既存の自動クリーニングアルゴリズムを調査・分析する。特に、不規則な時間間隔への適用可能性に重点を置く。
• ドメイン固有の基準（正確性、計算効率、ノイズおよびギャップへのロバストネスなど）を用いて、クリーニング手法の性能を評価する。
• 従来のリレーショナルデータベース中心のツールが時系列データに不適切である点を強調し、ストリーミング処理、分散コンピューティング、リアルタイムデータパイプラインを活用する新しいツールの開発を提唱する。
• 特に低データ量または弱い知識状態の状況においても、正確性と適応性を向上させるために、高度な機械学習技術をクリーニングアルゴリズムに統合することを提案する。
• ラベル付き真値に依存しないで誤りを特定できるように、産業現場の導入を想定した、時系列に特化した異常検出アルゴリズムの設計を提案する。

実験結果

リサーチクエスチョン

• RQ1 不規則な時間間隔が存在する状況においても、的確なクリーニング戦略を支援できるように、時系列データ誤りを体系的に分類する方法は何か？
• RQ2 時系列における観測値誤りの異なるタイプに対して、既存の自動クリーニングアルゴリズムの長所と短所は何か？
• RQ3 機械学習および統計モデルを活用することで、実世界の産業環境における時系列データクリーニングの正確性とスケーラビリティをどのように向上できるか？
• RQ4 従来のリレーショナルデータベースシステムを超える、効率的で分散型かつリアルタイム対応の時系列クリーニングツールを設計するにあたり、直面する主な課題は何か？
• RQ5 真値が入手不能または限られている状況において、特にドメイン知識が弱い分野では、どのように異常検出を強化して誤りを特定できるか？

主な発見

• Yahoo Financeの株価データの正答率はわずか93%であり、実世界の時系列データにおける観測値誤りの広範な存在を示している。
• 誤ったデータを破棄することは一般的ではあるが、非効率である。特に誤りが希少または局所的である場合、貴重なデータ資産を損なう。
• 手動でのクリーニングは正確ではあるが、時間と人的リソースの消費が極めて高いため実用的ではない。データウェアハウスプロジェクトの30–80%の時間はクリーニング作業に費やされている。
• 既存のデータクリーニングツールは、主にリレーショナルデータベースに焦点を当てているため、時系列データにはほとんど適していない。これにより、専用の時系列クリーニングシステムの開発が急務である。
• 今後のクリーニングアルゴリズムは、多次元時系列をサポートし、機械学習を統合することで、特に低データ量の状況でもロバストネスと一般化能力を向上させるべきである。
• 弱い教師信号の下で、ラベル付き真値に依存しないで誤りを自動特定できるように、異常検出を再考する必要がある。