[논문 리뷰] Multi-label Prediction in Time Series Data using Deep Neural Networks

Wenyu Zhang, Devesh K. Jha외 2명|arXiv (Cornell University)|2020. 01. 27.

Text and Document Classification Technologies참고 문헌 26인용 수 8

한 줄 요약

이 논문은 희귀 클래스에 중점을 두는 새로운 비용 함수를 사용하는 순환 신경망 기반의 다중 레이블 예측 네트워크(MPN)를 제안한다. 이는 분포가 불균형한 시계열 데이터에서 정확한 다중 레이블 장애 예측을 가능하게 하며, 시간적 국소화 및 맥락 정보를 통합함으로써 산업 및 인간 활동 인식 벤치마크에서 F1 점수와 재현율을 향상시킨다.

ABSTRACT

This paper addresses a multi-label predictive fault classification problem for multidimensional time-series data. While fault (event) detection problems have been thoroughly studied in literature, most of the state-of-the-art techniques can't reliably predict faults (events) over a desired future horizon. In the most general setting of these types of problems, one or more samples of data across multiple time series can be assigned several concurrent fault labels from a finite, known set and the task is to predict the possibility of fault occurrence over a desired time horizon. This type of problem is usually accompanied by strong class imbalances where some classes are represented by only a few samples. Importantly, in many applications of the problem such as fault prediction and predictive maintenance, it is exactly these rare classes that are of most interest. To address the problem, this paper proposes a general approach that utilizes a multi-label recurrent neural network with a new cost function that accentuates learning in the imbalanced classes. The proposed algorithm is tested on two public benchmark datasets: an industrial plant dataset from the PHM Society Data Challenge, and a human activity recognition dataset. The results are compared with state-of-the-art techniques for time-series classification and evaluation is performed using the F1-score, precision and recall.

연구 동기 및 목표

• 희귀 장애 유형이 중요한데도 불구하고 부족하게 표현되는 심각한 클래스 불균형을 보이는 시계열 데이터에서 다중 레이블 장애 예측의 과제를 해결한다.
• 장애 발생 후에만 장애를 탐지하는 것이 아니라, 향후 시간 간격 동안 동시에 발생할 수 있는 다중 장애를 예측하는 방법을 개발한다.
• 예측 정확도를 향상시키기 위해 손실 함수를 수정하여 부족한 레이블을 우선시함으로써, 예측 유지보수 및 상태 모니터링에서 흔한 희귀 장애 클래스의 성능을 향상시킨다.
• 원시 센서 데이터 외에도 설정값, 제어 모드 등의 맥락 정보를 통합하여 예측 성능을 향상시킨다.
• 산업 장애 예측을 넘어 인간 활동 인식에 적용하여 다중 레이블, 희박한 레이블을 가진 다른 도메인으로의 일반화 능력을 입증한다.

제안 방법

• 과거 시계열 관측값 $ z^{(i)}_{1:\tau} $ 과 맥락 시퀀스 $ c^{(i)} $ 를 처리하는 다중 레이블 순환 신경망(RNN)을 사용하여 향후 장애 레이블을 예측한다.
• 두 가지 예측 타겟을 정의한다: 전체 시간 간격 동안의 장애 존재 여부를 나타내는 세그먼트 수준 레이블 $ \tilde{y}^{(i)} \in \{0,1\}^L $ 과 시간 단위별 장애 존재 여부를 나타내는 스텝 와이즈 레이블 $ \tilde{o}^{(i)}_{\tau+1:T} $.
• 희귀 클래스에 더 높은 가중치를 할당하고, 각 샘플의 레이블 수가 다를 수 있도록 지원하는 커스터마이즈된 손실 함수를 설계하여 클래스 불균형 문제를 해결한다.
• 가중 손실을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련함으로써 세그먼트 수준 및 스텝 와이즈 레이블 예측을 동시에 최적화한다.
• 시간적 국소화 헤드(MPN-localize)를 도입하여 스텝 와이즈 수준에서 장애를 국소화함으로써 정밀도와 재현율을 향상시킨다.
• 제어 설정값, 운영 모드, 시간대 지표 등의 맥락 특징을 사용하여 입력 표현을 풍부화하고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 심각한 클래스 불균형을 보이는 시계열 데이터에서 다중 동시 장애를 효과적으로 예측할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 원시 센서 데이터 외에 설정값, 제어 모드 등의 맥락 정보를 통합할 경우, 단순히 원시 센서 데이터만 사용하는 것보다 다중 레이블 장애 예측 정확도가 향상되는가?
• RQ3 희귀 클래스에 중점을 두는 커스터마이즈된 손실 함수는 불균형한 다중 레이블 시계열 예측 작업에서 성능을 얼마나 향상시키는가?
• RQ4 스텝 와이즈 레이블을 통한 장애 예측의 시간적 국소화는 세그먼트 수준 예측만 하는 것과 비교해 F1 점수와 재현율에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 산업 장애 예측을 넘어 인간 활동 인식과 같이 희박한 다중 레이블 출력을 가진 다른 도메인으로 일반화될 수 있는가?

주요 결과

• 제안된 MPN-base 모델은 PHM 2012 데이터셋에서 최신 기술을 초월하여 더 높은 F1 점수와 희귀 장애 클래스의 개선된 재현율을 달성했다.
• 스텝 와이즈 레이블 감시를 통합한 MPN-localize는 HAR 데이터셋에서 MPN-base 대비 매크로-F1 점수 5.0포인트 상승(0.361에서 0.411로)을 기록했다.
• PHM 데이터셋에서 MPN-localize 모델은 가짜 양성 결과를 줄였고, 높은 재현율을 유지하면서도 33개의 공장에서 전반적인 F1 점수를 향상시켰다.
• 모델은 레이블 희박성에 뛰어난 내성성을 보였으며, 일부 레이블이 10번 미만으로 발생하더라도 희귀 장애 조합을 성공적으로 예측했다.
• 커스터마이즈된 손실 함수는 소수 클래스에서 성능 향상을 크게 개선했으며, 표준 크로스 엔트로피 손실 함수와 비교해 희귀 레이블의 F1 점수가 높게 나타났다.
• 하이퍼파rameter 튜닝 결과, $ \lambda = 1 $ 과 $ \eta = 0.01 $ 을 가진 MPN-localize 변형 모델이 두 벤치마크 데이터셋 모두에서 정밀도와 재현율의 최적 균형을 이룩했다.