[논문 리뷰] Out-of-Distribution Representation Learning for Time Series Classification

Lu Wang, Jindong Wang외 3명|arXiv (Cornell University)|2022. 09. 15.

Time Series Analysis and Forecasting인용 수 11

한 줄 요약

이 논문은 시간 시리즈 분류를 위한 새로운 분포 외 일반화(OOD) 표현 학습 프레임워크인 Diversify를 제안한다. 이 프레임워크는 적대적 min-max 학습 과정을 통해 잠재적 하위분포를 식별한다. 학습된 하위도메인 간의 분포 간격을 최대화하면서도 그들 간의 발산을 최소화함으로써, Diversify는 일곱 가지 다양한 시간 시리즈 데이터셋에서 최신 기술 수준의 OOD 일반화 성능을 달성하며, 특히 자료가 부족하고 변동성이 높은 환경에서 기존의 기준보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Time series classification is an important problem in real world. Due to its non-stationary property that the distribution changes over time, it remains challenging to build models for generalization to unseen distributions. In this paper, we propose to view the time series classification problem from the distribution perspective. We argue that the temporal complexity attributes to the unknown latent distributions within. To this end, we propose DIVERSIFY to learn generalized representations for time series classification. DIVERSIFY takes an iterative process: it first obtains the worst-case distribution scenario via adversarial training, then matches the distributions of the obtained sub-domains. We also present some theoretical insights. We conduct experiments on gesture recognition, speech commands recognition, wearable stress and affect detection, and sensor-based human activity recognition with a total of seven datasets in different settings. Results demonstrate that DIVERSIFY significantly outperforms other baselines and effectively characterizes the latent distributions by qualitative and quantitative analysis. Code is available at: https://github.com/microsoft/robustlearn.

연구 동기 및 목표

• 시간이 지남에 따라 동적으로 변화하는 데이터 분포로 인해 발생하는 시간 시리즈 분류에서의 분포 외 일반화 문제를 해결한다.
• 일반적으로 시간 시리즈에서 이용할 수 없는 알려진 도메인 레이블에 의존하는 기존 OOD 방법의 한계를 극복한다.
• 단일 시간 시리즈 데이터셋 내에 존재하는 알 수 없는 잠재 분포를 식별하고 특성화함으로써 일반화된 표현을 학습한다.
• 명시적인 도메인 레이블이 필요 없는 자기지도 학습 및 엔드 투 엔드로 트레이닝 가능한 프레임워크를 개발한다.
• 시간 시리즈 데이터 내부의 분포 이동을 명시적으로 모델링하여, 새로운 분포에서의 모델 강건성을 향상시킨다.

제안 방법

• 잠재 하위도메인 간의 분포 간격을 최대화하고(악성 시나리오), 그들 간의 발산을 최소화함으로써 시간 시리즈 OOD 학습을 min-max 적대적 게임으로 공식화한다.
• 가짜 도메인-클래스 레이블과 적대적 자기지도 가짜 레이블링을 도입하여, 진정한 도메인 레이블 없이도 잠재 하위분포를 학습한다.
• 이중 스트림 아키텍처를 사용하여, 한 쪽 스트림은 적대적 학습을 통해 하위분포를 식별하고, 다른 쪽 스트림은 도메인 불변 표현을 학습한다.
• 분포 발산 손실(MMD 또는 DANN 방식과 유사한 손실)을 적용하여 식별된 하위도메인 간의 표현을 정렬한다.
• 스ไล딩 윈도우 기법을 사용하여 원시 시간 시리즈를 모델 처리를 위한 고정 크기의 입력 인스턴스로 변환한다.
• 분류를 위한 크로스 엔트로피 손실과 OOD 일반화를 위한 분포 정규화 손실의 조합을 사용하여 모델을 엔드 투 엔드로 트레이닝한다.

실험 결과

연구 질문

• RQ1 한 개인으로부터 수집된 단일 시간 시리즈 데이터셋 내에도 잠재 하위분포가 존재할 수 있으며, 도메인 레이블 없이도 효과적으로 식별될 수 있는가?
• RQ2 최악의 상황에서 분포 간격을 최대화하면서도 발산을 최소화하는 적대적 min-max 학습 전략이 시간 시리즈에서 OOD 일반화를 향상시키는가?
• RQ3 알 수 없는 분포 이동이 존재하는 다양한 시간 시리즈 벤치마크에서 Diversify는 기존의 도메인 일반화 및 OOD 방법보다 어떻게 성능을 내는가?
• RQ4 Diversify는 다양한 모델 아키텍처 간에서 일반화되며, 자료 부족 및 높은 분포 다양성 조건에서도 강건한가?
• RQ5 Diversify의 설계에 대한 이론적 근거는 분포 강건성과 표현 학습 측면에서 무엇인가?

주요 결과

• Diversify는 수작업 손실, 음성 명령, 웨어러블 스트레스 감지, 인간 활동 인식 등 다양한 시간 시리즈 데이터셋 일곱 개에서 모든 기준보다 뚜렷하게 뛰어난 성능을 보였다.
• CNN 및 트랜스포머를 포함한 여러 백본 아키텍처에서 일관된 OOD 성능 향상을 달성하여, 아키텍처 간 강건성을 입증하였다.
• 단일 사용자 시간 시리즈 데이터조차도 여러 잠재 분포를 내포하고 있으며, Diversify는 이를 효과적으로 식별하고 일반화 성능 향상을 위해 활용하였다.
• 정량적 결과는 Diversify가 최신 기술 수준의 방법보다 분포 외 테스트 세트에서 더 높은 정확도를 달성함을 보여주었으며, 특히 자료가 적고 다양성이 높은 환경에서 두드러진 성능 향상을 보였다.
• 절단 실험 결과, 적대적 min-max 메커니즘이 성능 향상에 필수적이며, 최악의 분포 간격 최대화가 강건성에 핵심적인 역할을 한다고 확인되었다.
• 정성적 분석 결과, Diversify는 진정한 도메인 레이블 없이도 의미 있는 하위분포로 데이터를 효과적으로 군집화하며, 잠재 분포 분할의 시각화를 통해 이를 입증하였다.