[論文レビュー] AQEyes: Visual Analytics for Anomaly Detection and Examination of Air Quality Data

Dongyu Liu, Kalyan Veeramachaneni+3 more|arXiv (Cornell University)|Mar 24, 2021

Data Visualization and Analytics参考文献 43被引用数 6

ひとこと要約

AQEyes は、可変可能なエンドツーエンドの機械学習パイプラインとインタラクティブな可視化を統合したビジュアルアナリティクスシステムであり、大気質データにおける異常を検出・分析するものである。このシステムは、ラベル付き例が不要な非教師ありLSTMベースの異常検出法を用い、欠損値や一貫性のないフォーマットのデータに対しても対応可能であり、複数の監視ステーションおよび時間粒度において、効率的で解釈可能かつスケーラブルな分析を実現する。

ABSTRACT

Anomaly detection plays a key role in air quality analysis by enhancing situational awareness and alerting users to potential hazards. However, existing anomaly detection approaches for air quality analysis have their own limitations regarding parameter selection (e.g., need for extensive domain knowledge), computational expense, general applicability (e.g., require labeled data), interpretability, and the efficiency of analysis. Furthermore, the poor quality of collected air quality data (inconsistently formatted and sometimes missing) also increases the difficulty of analysis substantially. In this paper, we systematically formulate design requirements for a system that can solve these limitations and then propose AQEyes, an integrated visual analytics system for efficiently monitoring, detecting, and examining anomalies in air quality data. In particular, we propose a unified end-to-end tunable machine learning pipeline that includes several data pre-processors and featurizers to deal with data quality issues. The pipeline integrates an efficient unsupervised anomaly detection method that works without the use of labeled data and overcomes the limitations of existing approaches. Further, we develop an interactive visualization system to visualize the outputs from the pipeline. The system incorporates a set of novel visualization and interaction designs, allowing analysts to visually examine air quality dynamics and anomalous events in multiple scales and from multiple facets. We demonstrate the performance of this pipeline through a quantitative evaluation and show the effectiveness of the visualization system using qualitative case studies on real-world datasets.

研究の動機と目的

• 既存の異常検出手法が抱える限界、すなわちラベル付きデータへの依存、高い計算コスト、解釈の難しさを是正すること。
• 実世界の大気質モニタリングシステムで見られる欠損値や一貫性のない時間粒度といったデータ品質の問題を克服すること。
• 複数のステーションおよび時間スケールにわたる異常イベントの効率的で柔軟な探索と分析を可能にするスケーラブルで適応可能なシステムの開発。
• 複数の視点とスケールからの異常の点検を可能にするインタラクティブなビジュアルアナリティクスを統合し、アナリストの理解と意思決定を強化すること。
• 強固な機械学習と直感的な可視化を統合した包括的でエンドツーエンドのシステムを提供し、環境モニタリング分野における実世界での導入を可能にすること。

提案手法

• 欠損データや一貫性のない時間粒度に対応できるように、設定可能なデータ前処理モジュールおよび特徴量抽出モジュールを備えた統合的でエンドツーエンドの機械学習パイプラインを設計する。
• ラベル付き異常データを必要とせず、動的閾値を学習する非教師ありLSTMネットワークに基づく異常検出法を実装する。
• 予測値と実際の値の間の乖離を測定することで、異常を特定するための誤差閾値学習アルゴリズムを用いる。
• スモールマルチプルス、アニメーション付きギフト、インタラクティブナビゲーションを統合した可視化レイヤーを導入し、多スケール・マルチパースペクティブ分析を支援する。
• アナリストが検出された異常をタグ付け・コメント記述・手動で修正できるインタラクティブフィードバックメカニズムを提供し、将来的なパイプライン最適化を可能にする。
• 色分けされた視覚的エンコードと同期ナビゲーションを用いて、複数ステーション間の比較分析を可能にするとともに、デザインヒューリスティクスを活用して視覚的ごちゃごちゃを管理する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き例に依存せずに、大気質データにおける多様な異常パターンを検出できる非教師あり機械学習パイプラインをどのように設計できるか？
• RQ2 複数の時間粒度および複数のステーションにわたる異常の探索と解釈を支援するのに最適な可視化技術は何か？
• RQ3 統合的異常検出パイプライン内において、欠損値や一貫性のない時間分解能といったデータ品質の問題を効果的にどのように解決できるか？
• RQ4 インタラクティブビジュアルアナリティクスは、実世界の環境モニタリングにおいて、異常検出結果の解釈可能性と使いやすさをどの程度向上できるか？
• RQ5 本システムは、異なる地理的場所および時間スケールにおける大気質ダイナミクスの比較分析をどの程度効果的に支援できるか？

主な発見

• 提示された機械学習パイプラインは、2つの実世界の大気質データセットにおいて高い異常検出性能を達成し、定量的評価によりその頑健性と適応性が確認された。
• 可視化システムにより、専門家は複数の時間スケールにわたる異常を効率的に特定・分析可能であり、分野専門家からの高い使いやすさフィードバックが得られた。
• 専門家は、単なるしきい値超過を超えた多様な異常タイプの検出・分析能力が著しく向上したと報告した。
• アニメーション、ナビゲーション、タグ付けといったシステムのインタラクティブ機能は、探索作業およびレポート作成ワークフローの向上に顕著に寄与したと高く評価された。
• 事例研究により、AQEyes が局所的な詳細な異常点検査と、ステーションおよび時間帯にわたる高レベルの比較分析を両立して支援できることを示した。
• 実世界の導入状況において、欠損データや一貫性のない時間粒度を処理する能力が、データ損失や前処理のボトルネックを生じさせることなく、実際に有効であることが検証された。