[논문 리뷰] AQEyes: Visual Analytics for Anomaly Detection and Examination of Air Quality Data

Dongyu Liu, Kalyan Veeramachaneni외 3명|arXiv (Cornell University)|2021. 03. 24.

Data Visualization and Analytics참고 문헌 43인용 수 6

한 줄 요약

AQEyes는 다중 모니터링 스테이션과 시간 해상도에서 효율적이고 해석 가능하며 확장 가능한 분석을 가능하게 하기 위해 조정 가능한 엔드 투 엔드 기계학습 파이프라인과 상호작용 가능한 시각화 기법을 통합한 시각적 분석 시스템이다. 이 시스템은 레이블이 없는 데이터를 처리하기 위해 레이블이 없는 상태에서 동적 임계값을 학습하는 비지도 학습 기반의 LSTM 기반 이상 탐지 방법을 사용하여 누락된 데이터와 일관되지 않은 형식의 데이터를 효과적으로 다룬다.

ABSTRACT

Anomaly detection plays a key role in air quality analysis by enhancing situational awareness and alerting users to potential hazards. However, existing anomaly detection approaches for air quality analysis have their own limitations regarding parameter selection (e.g., need for extensive domain knowledge), computational expense, general applicability (e.g., require labeled data), interpretability, and the efficiency of analysis. Furthermore, the poor quality of collected air quality data (inconsistently formatted and sometimes missing) also increases the difficulty of analysis substantially. In this paper, we systematically formulate design requirements for a system that can solve these limitations and then propose AQEyes, an integrated visual analytics system for efficiently monitoring, detecting, and examining anomalies in air quality data. In particular, we propose a unified end-to-end tunable machine learning pipeline that includes several data pre-processors and featurizers to deal with data quality issues. The pipeline integrates an efficient unsupervised anomaly detection method that works without the use of labeled data and overcomes the limitations of existing approaches. Further, we develop an interactive visualization system to visualize the outputs from the pipeline. The system incorporates a set of novel visualization and interaction designs, allowing analysts to visually examine air quality dynamics and anomalous events in multiple scales and from multiple facets. We demonstrate the performance of this pipeline through a quantitative evaluation and show the effectiveness of the visualization system using qualitative case studies on real-world datasets.

연구 동기 및 목표

• 기존의 이상 탐지 방법의 한계를 해결하기 위해 레이블이 필요한 데이터에 의존하지 않고, 계산 비용이 높고 해석이 어려운 문제를 해결한다.
• 실제 환경 모니터링 시스템에서 흔히 발생하는 누락된 값과 일관되지 않은 시간 해상도 등의 데이터 품질 문제를 해결한다.
• 다양한 모니터링 스테이션과 시간 척도에서 효율적인 탐색과 이상 사건 분석을 지원하는 확장 가능하고 유연한 시스템을 개발한다.
• 다중 척도 및 다중 시각적 관점에서 이상 현상을 검토할 수 있도록 상호작용 가능한 시각적 분석 기법을 통합하여 분석가의 이해도와 의사결정 능력을 향상시킨다.
• 실제 환경 모니터링 환경에 구현 가능한 강력한 기계학습과 직관적인 시각화를 통합한 통합형 엔드 투 엔드 시스템을 제공한다.

제안 방법

• 누락된 데이터와 일관되지 않은 시간 해상도를 처리하기 위해 구성이 가능한 데이터 전처리기 및 특징 추출기 기반의 통합형 엔드 투 엔드 기계학습 파이프라인을 설계한다.
• 레이블이 없는 이상 현상에 의존하지 않고 동적 임계값을 학습하는 LSTM 기반의 비지도 이상 탐지 방법을 구현한다.
• 예측값과 실제값 간의 편차를 측정하여 이상을 식별하기 위해 오차 임계값 학습 알고리즘을 사용한다.
• 다중 척도 및 다중 시각적 관점 분석을 지원하기 위해 소형 다중 시각화, 애니메이션 기반 기호, 상호작용 가능한 탐색 기능을 포함한 시각화 레이어를 통합한다.
• 분석가가 탐지된 이상 현상에 태그를 붙이고, 의견을 남기며, 수동으로 수정할 수 있도록 상호작용 피드백 메커니즘을 제공하여 향후 파이프라인 개선에 기여한다.
• 색상 인코딩과 동기화된 탐색을 통해 여러 스테이션 간 비교 분석을 지원하며, 디자인 히ュ리스틱을 활용해 빛의 시각적 혼잡함을 관리한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 예제에 의존하지 않고도 다양한 이상 패턴을 탐지할 수 있는 비지도 기계학습 파이프라인은 어떻게 설계할 수 있는가?
• RQ2 다양한 시간 해상도와 스테이션에서 이상 현상을 탐색하고 해석하는 데 가장 효과적인 시각화 기법은 무엇인가?
• RQ3 누락된 값과 일관되지 않은 시간 해상도 등의 데이터 품질 문제를 통합된 이상 탐지 파이프라인 내에서 효과적으로 해결할 수 있는가?
• RQ4 상호작용 가능한 시각적 분석은 실세계 환경 모니터링 환경에서 이상 탐지 결과의 해석 가능성과 사용성에 얼마나 기여하는가?
• RQ5 이 시스템은 다양한 지리적 위치와 시간 척도에서 공기 질 동적 변화를 비교 분석하는 데 얼마나 효과적인가?

주요 결과

• 제안된 기계학습 파이프라인은 두 개의 실세계 공기질 데이터셋에서 높은 이상 탐지 성능을 달성했으며, 정량적 평가를 통해 그 강건성과 적응 가능성 확인됨.
• 시각화 시스템은 도메인 전문가들이 다양한 시간 척도에서 이상 현상을 효율적으로 식별하고 분석하는 데 기여했으며, 높은 사용성 피드백을 확보함.
• 전문가들은 시스템이 단순한 임계값 초과를 넘어서 다양한 이상 유형을 탐지하고 분석하는 데 있어 능력을 크게 향상시켰다고 보고함.
• 애니메이션, 탐색, 태그 기능을 포함한 시스템의 상호작용 기능은 탐색 및 보고서 작성 워크플로우를 향상시키는 데 매우 긍정적인 평가를 받음.
• 사례 연구를 통해 AQEyes는 지역적 이상 현상의 세부 검토와 동시에 스테이션 간 및 시간 간격 간의 고수준 비교 분석을 지원함을 입증함.
• 실제 운영 환경에서 누락된 데이터와 일관되지 않은 시간 해상도를 처리하면서도 데이터 손실 없이 또는 전처리 병목 현상 없이도 시스템의 처리 능력이 검증됨.