[논문 리뷰] Multivariate Time Series Classification with WEASEL+MUSE
WEASEL+MUSE는 도메인-애그래딕 MTSC 방법으로, 차원별 슬라이딩 윈도우에서 다변수 특징 벡터를 구성하고, 기호적 푸리에 특징(Symbolic Fourier features), 특징 선택, 로지스틱 회귀를 사용하여 20개의 MTS 데이터셋에서 최첨단 정확도와 강한 강건성을 달성한다.
Multivariate time series (MTS) arise when multiple interconnected sensors record data over time. Dealing with this high-dimensional data is challenging for every classifier for at least two aspects: First, an MTS is not only characterized by individual feature values, but also by the interplay of features in different dimensions. Second, this typically adds large amounts of irrelevant data and noise. We present our novel MTS classifier WEASEL+MUSE which addresses both challenges. WEASEL+MUSE builds a multivariate feature vector, first using a sliding-window approach applied to each dimension of the MTS, then extracts discrete features per window and dimension. The feature vector is subsequently fed through feature selection, removing non-discriminative features, and analysed by a machine learning classifier. The novelty of WEASEL+MUSE lies in its specific way of extracting and filtering multivariate features from MTS by encoding context information into each feature. Still the resulting feature set is small, yet very discriminative and useful for MTS classification. Based on a popular benchmark of 20 MTS datasets, we found that WEASEL+MUSE is among the most accurate classifiers, when compared to the state of the art. The outstanding robustness of WEASEL+MUSE is further confirmed based on motion gesture recognition data, where it out-of-the-box achieved similar accuracies as domain-specific methods.
연구 동기 및 목표
- 상호 차원 간 상호작용과 위상 불변 패턴을 포착하여 MTSC의 난제를 해결한다.
- bag-of-patterns 원리에 기반한 확장 가능하고 도메인에 구애받지 않는 MTSC 방법을 개발한다.
- 차원 식별자, 도함수, 노이즈에 강한 기호적 특징을 도입하여 정확도를 향상시킨다.
- 특징 선택과 가중치를 적용하여 작고 고도로 구분 가능한 특징 집합을 생성한다.
제안 방법
- WEASEL을 다변량 설정으로 확장하여 차원 식별자와 윈도우 식별자를 단어에 연결한다.
- 각 차원의 윈도우에 대해 Symbolic Fourier Approximation (SFA)을 적용하여 unigram과 bigram을 생성한다.
- 도형 정보를 포착하기 위해 도함수(일阶 차이)를 통합한다.
- 비판별 특징을 제거하기 위해 특징 선택에 카이제곱 검정을 사용한다.
- 결과의 희소 특징 벡터에 로지스틱 회귀 분류기를 학습시키고, 클래스별 가중치를 통해 차원 간 상호 작용을 포착하도록 학습한다.
실험 결과
연구 질문
- RQ1차원 식별자와 도함수를 갖춘 WEASEL 유사 기호 특징이 다양한 도메인에서 MTSC 정확도를 향상시킬 수 있는가?
- RQ2명시적 특징 선택과 가중치 부여가 MTSC의 고차원 특징 공간을 관리하는 데 도움이 되는가?
- RQ3공개 벤치마크와 실제 데이터에서 WEASEL+MUSE의 성능은 다른 최첨단 MTSC 방법들과 어떤가?
- RQ4이 방법은 노이즈에 견디고 작은 학습 데이터로도 효과적인가?
- RQ5차원 간 특징 간의 상호 작용은 분류 성능에 어느 정도 영향을 미치는가?
주요 결과
| 데이터셋 | SMTS | LPS | mvARF | DTWi | ARKernel | gRSF | MLSTM-FCN | MUSE |
|---|---|---|---|---|---|---|---|---|
| ArabicDigits | 96.4% | 97.1% | 95.2% | 90.8% | 98.8% | 97.5% | 99.0% | 99.2% |
| AUSLAN | 94.7% | 75.4% | 93.4% | 72.7% | 91.8% | 95.5% | 95.0% | 97.0% |
| CharTrajectories | 99.2% | 96.5% | 92.8% | 94.8% | 90.0% | 99.4% | 99.0% | 97.3% |
| CMUsubject16 | 99.7% | 100% | 100% | 93% | 100% | 100% | 100% | 100% |
| ECG | 81.8% | 82% | 78.5% | 79% | 82% | 88% | 87% | 88% |
| Japanese Vowels | 96.9% | 95.1% | 95.9% | 96.2% | 98.4% | 80% | 100% | 97.6% |
| KickvsPunch | 82% | 90% | 97.6% | 60% | 92.7% | 100% | 90% | 100% |
| Libras | 90.9% | 90.3% | 94.5% | 88.8% | 95.2% | 91.1% | 97% | 89.4% |
| NetFlow | 97.7% | 96.8% | NaN | 97.6% | NaN | 91.4% | 95% | 96.1% |
| UWave | 94.1% | 98% | 95.2% | 91.6% | 90.4% | 92.9% | 97% | 91.6% |
| Wafer | 96.5% | 96.2% | 93.1% | 97.4% | 96.8% | 99.2% | 99% | 99.7% |
| WalkvsRun | 100% | 100% | 100% | 100% | 100% | 100% | 100% | 100% |
| LP1 | 85.6% | 86.2% | 82.4% | 76% | 86% | 84% | 80% | 94% |
| LP2 | 76% | 70.4% | 62.6% | 70% | 63.4% | 66.7% | 80% | 73.3% |
| LP3 | 76% | 72% | 77% | 56.7% | 56.7% | 63.3% | 73% | 90% |
| LP4 | 89.5% | 91% | 90.6% | 86.7% | 96% | 86.7% | 89% | 96% |
| LP5 | 65% | 69% | 68% | 54% | 47% | 45% | 65% | 69% |
| PenDigits | 91.7% | 90.8% | 92.3% | 92.7% | 95.2% | 93.2% | 97% | 91.2% |
| Shapes | 100% | 100% | 100% | 100% | 100% | 100% | 100% | 100% |
| DigitShapes | 100% | 100% | 100% | 93.8% | 100% | 100% | 100% | 100% |
| Wins/Ties | 4 | 6 | 4 | 2 | 5 | 6 | 8 | 13 |
| Mean | 90.7% | 89.8% | 90% | 84.6% | 88.4% | 88.7% | 92.1% | 93.5% |
| Avg. Rank | 4.05 | 4.05 | 4.7 | 6.6 | 4.35 | 3.85 | 2.75 | 2.45 |
- WEASEL+MUSE는 20개의 공개 데이터셋에서 가장 정확한 MTSC 방법 중 하나이다.
- 평균 정확도(~93.5%)가 MLSTM-FCN에 근접하게 경쟁하며, 소규모 데이터셋에서도 강한 성능을 보인다.
- 차원 식별자와 도함수는 차원 간 상호 작용 및 형태 정보를 포착하여 정확도를 향상시킨다.
- 카이제곱 특징 선택은 작고 구분 가능한 특징 세트를 만들어 빠른 선형 시간 학습을 가능케 한다.
- 이 방법은 DTW 기반 기준선에 비해 가우시안 잡음에 대한 강건성을 보인다.
- 모션 캡처 데이터에서 WEASEL+MUSE는 여러 경우에서 도메인 특화 접근법에 비해 기본 상태로도 일치한다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.