[논문 리뷰] Voice2Series: Reprogramming Acoustic Models for Time Series Classification

Huck Yang, Yun-Yun Tsai외 1명|arXiv (Cornell University)|2021. 06. 17.

Music and Audio Processing인용 수 35

한 줄 요약

Voice2Series (V2S)은 입력 변환과 라벨 매핑으로 사전 학습된 음향 모델을 재프로그래밍하여 시계열 분류를 수행하고, 30개 UCR 데이터셋 중 19개에서 경쟁적인 결과를 달성하며 출처 위험과 표현 정렬에 기반한 이론적 위험 한계를 제공합니다.

ABSTRACT

Learning to classify time series with limited data is a practical yet challenging problem. Current methods are primarily based on hand-designed feature extraction rules or domain-specific data augmentation. Motivated by the advances in deep speech processing models and the fact that voice data are univariate temporal signals, in this paper, we propose Voice2Series (V2S), a novel end-to-end approach that reprograms acoustic models for time series classification, through input transformation learning and output label mapping. Leveraging the representation learning power of a large-scale pre-trained speech processing model, on 30 different time series tasks we show that V2S performs competitive results on 19 time series classification tasks. We further provide a theoretical justification of V2S by proving its population risk is upper bounded by the source risk and a Wasserstein distance accounting for feature alignment via reprogramming. Our results offer new and effective means to time series classification.

연구 동기 및 목표

• 시계열 분류의 데이터 부족 문제를 대형 사전 학습 음향 모델을 활용해 해결한다.
• 타깃 시계열 작업을 재프로그래밍하기 위한 보편적 입력 변환을 제안한다.
• 재프로그레이밍 성능을 높이기 위한 다대일 소스-타깃 레이블 매핑을 도입한다.
• 집단 위험 한계와 Wasserstein 기반 표현 정렬을 통한 이론적 타당성을 제공한다.
• UCR 시계열 벤치마크와 해석 가능성 분석에서 실증적 성능을 입증한다.

제안 방법

• 소스 입력 공간에 맞추기 위해 대상 입력에 패딩과 델타를 추가하는 학습 가능한 입력 재프로그래밍 함수 H를 정의한다.
• 사전 학습된 음향 모델을 고정하고 재프로그래밍 매개변수 θ를 최적화하여 V2S 손실을 최소화하며, 다대일 매핑을 통해 소스와 타깃 레이블을 정렬한다.
• 소스 레이블에서 타깃 레이블로의 다대일 매핑 h를 사용하여 소스 예측을 집계해 타깃 예측을 얻는다.
• 재프로그래밍 입력에 주어진 타깃 레이블의 음의 로그 우도를 최소화하도록 ADAM으로 학습한다.
• 타깃 위험이 로그리트 표현 간의 Wasserstein-1 거리와 소스 위험의 합으로 유계임을 보이고, 모델 선택에 대한 시사점을 논의한다.
• 전이 학습 기반 기준선 TF-a와 비교하여 V2S-a(Attention 기반 AM) 및 V2S-u(UNet 강화 AM)로 평가한다.

실험 결과

연구 질문

• RQ1 음향 모델을 가중치를 재학습하지 않고 시계열 분류 작업에 재프로그래밍할 수 있는가?
• RQ2 Voice2Series가 표준 시계열 벤치마크에서 SOTA 방법과 비교해 경쟁력 있는 성능을 달성하는가?
• RQ3 재프로그레이밍이 시계열 작업에서 성공하는지 설명하는 이론적 보장 조건은 무엇인가?
• RQ4 소스와 타깃 도메인 간 표현 정렬이 재프로그레이밍 성능에 어떤 영향을 미치는가?
• RQ5 재프로그래밍 입력이 AM의 의사결정에 어떤 영향을 미치는지 보여주는 설명(시각화)은 무엇인가?

주요 결과

• V2S는 사전 학습된 음향 모델을 사용할 때 30개 UCR 데이터셋 중 19개에서 경쟁력 있는 결과를 달성한다.
• V2S-a 변형은 일반적으로 V2S-u보다 성능이 앞서며 이론적 위험 한계와 일관된다.
• 전이 학습 기준선 TF-a는 타깃 데이터가 제한되어 있어 성능이 저조하다.
• 로그리트 특징 사이의 표현 정렬(Wasserstein 거리)이 재프로그레이밍 성능과 상관관계를 갖으며 이론적 한계를 지지한다.
• 다대일 레이블 매핑은 일대일 매핑에 비해 재프로그레이밍 정확도를 높인다.
• 시각화(CAM, 주의 맵, t-SNE)는 재프로그레이밍 후 구분 가능하고 해석 가능한 표현 및 클래스 구분성을 보여준다.