[논문 리뷰] Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation

Elizabeth Fons, P Dawson외 3명|arXiv (Cornell University)|2021. 02. 16.

Time Series Analysis and Forecasting참고 문헌 23인용 수 17

한 줄 요약

이 논문은 시계열 분류를 위한 두 가지 샘플 적응형 데이터 증강 방법을 제안한다: W-Augment는 각 증강된 샘플의 손실 기여도에 대해 학습 가능한 가중치를 부여하는 방법이며, α-trimmed Augment는 예측된 손실 기반으로 가장 효과적인 변환을 선택하는 방법이다. 이 방법들은 재무 데이터셋에서 연간 수익률을 50퍼센트 이상 높이고, UCR 시계열 데이터셋의 절반 이상에서 최신 기술 모델을 능가하여 적응형이고 학습 가능한 증강 정책을 통해 뛰어난 일반화 성능을 입증한다.

ABSTRACT

Data augmentation methods have been shown to be a fundamental technique to improve generalization in tasks such as image, text and audio classification. Recently, automated augmentation methods have led to further improvements on image classification and object detection leading to state-of-the-art performances. Nevertheless, little work has been done on time-series data, an area that could greatly benefit from automated data augmentation given the usually limited size of the datasets. We present two sample-adaptive automatic weighting schemes for data augmentation: the first learns to weight the contribution of the augmented samples to the loss, and the second method selects a subset of transformations based on the ranking of the predicted training loss. We validate our proposed methods on a large, noisy financial dataset and on time-series datasets from the UCR archive. On the financial dataset, we show that the methods in combination with a trading strategy lead to improvements in annualized returns of over 50$\%$, and on the time-series data we outperform state-of-the-art models on over half of the datasets, and achieve similar performance in accuracy on the others.

연구 동기 및 목표

• 작은 크기이자 노이즈가 많은 데이터셋을 고려할 때, 자동화되고 적응형인 시계열 데이터에 대한 증강 기법의 부족을 해결하기 위해.
• 개별 샘플의 성능에 기반해 증강을 동적으로 가중하거나 선택하는 샘플 적응형 정책을 개발하기 위해.
• 최적의 변환 전략을 학습함으로써 시계열 분류에서 모델의 일반화 능력과 강인성을 향상시키기 위해.
• 실제 재무 데이터와 기준 UCR 시계열 데이터셋을 대상으로 제안된 방법을 검증하기 위해.
• 적응형 증강이 정확도와 재무 성과 측면에서 고정 정책인 RandAugment보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• W-Augment는 역전파 과정에서 각 증강 샘플의 손실 기여도에 대해 동적으로 샘플별로 가중치를 할당하는 학습 가능한 가중치 벡터를 도입한다.
• α-trimmed Augment는 각 샘플에 대해 예측된 학습 손실 기반으로 변환의 일부를 선택하며, 성능이 열악한 변환은 기각한다.
• 모든 증강의 강도를 균일하게 제어하기 위해 단일 왜곡 강도 파라미터 M을 사용하여 하이퍼파라미터 탐색 공간을 줄인다.
• 이 방법들은 InceptionTime(다섯 개의 1D CNN으로 구성된 앙상블)과 통합되어 네트워크와 증강 가중치를 함께 최적화하는 엔드 투 엔드 방식으로 훈련된다.
• 이 접근법은 RandAugment를 시계열 데이터에 적용하기 위해 미니배치에 동일한 확률로 적용하는 방식을 유지하면서도, 성능 향상을 위해 샘플 적응형 학습을 추가한다.
• 하이퍼파라미터 튜닝을 통해 검증 정확도를 기반으로 M을 {1,5,10,15,20} 중에서 선택하고, 최종 모델은 다섯 개의 데이터 분할에 대한 결과 평균을 취한다.

실험 결과

연구 질문

• RQ1 고정된 비적응 정책과 비교해 볼 때, 샘플 적응형 데이터 증강이 시계열 분류 성능 향상에 기여하는가?
• RQ2 개별 샘플의 손실 기반으로 증강을 가중하거나 선택하는 것이 시계열 데이터에서 더 나은 일반화를 이끌어내는가?
• RQ3 적응형 증강이 특히 투자 수익률 측면에서 시계열 재무 예측에서 뚜렷한 향상을 이끌어낼 수 있는가?
• RQ4 포함된 변환의 수가 성능에 미치는 영향은 무엇이며, 적응형 선택이 비최적의 증강을 완화하는가?
• RQ5 제안된 방법들이 표준 UCR 시계열 기준 데이터셋에서 RandAugment 및 기타 최신 기술 모델을 능가할 수 있는가?

주요 결과

• S&P500 재무 데이터셋에서 제안된 증강 방법을 트레이딩 전략과 결합함으로써 연간 수익률이 50퍼센트 이상 향상되었다.
• UCR 시계열 데이터셋에서 W-Augment는 기준 모델보다 12개 데이터셋 중 6개에서 승리했고, 나머지 6개에서는 동점 또는 기준 모델을 초월했다.
• 8개의 변환을 사용할 경우 W-Augment는 12개 데이터셋 중 8개에서 승리하거나 동점이었고, 반면 RandAugment는 오직 5개에서만 승리하여 비최적의 증강을 더 잘 다루는 것으로 나타났다.
• α-trimmed Augment 방법은 12개 데이터셋 중 7개에서 기준 모델보다 뛰어난 성능을 보였고, 5개에서는 동점이었으며, 선택적 증강의 효과성을 입증했다.
• W-Augment의 학습된 가중치는 InceptionTime의 다섯 개 모델 전반에서 일관된 행동을 보였으며, 원본 샘플에 더 높은 가중치가 할당되고 데이터셋 간에 동적으로 적응하는 경향을 보였다.
• W-Augment와 α-trimmed Augment를 사용할 경우 증가된 변환 수에 따라 검증 정확도가 향상되었으며, 이는 증강 집합 크기에 대해 확장 가능하고 강인한 성능을 보임을 시사한다.