[논문 리뷰] Extended Deep Adaptive Input Normalization for Preprocessing Time Series Data for Neural Networks

Marcus A. K. September, Francesco Sanna Passino외 2명|arXiv (Cornell University)|2023. 10. 23.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 EDAIN(확장된 딥 어댑티브 인풋 정규화)을 제안한다. EDAIN은 끝에서 끝까지 backpropagation를 통해 비정상적인 다변량 시계열 데이터—왜도, 이상치, 무거운 尾를 처리하는 데 학습하는 새로운 신경망 레이어이다. EDAIN은 합성 데이터, 신용 리스크 데이터, 한도 주문서 데이터 세트에서 정적 정규화 및 기존의 어댑티브 방법보다 성능이 뛰어나며, 정규화 파rameter를 모델 가중치와 함께 동시 최적화한다.

ABSTRACT

Data preprocessing is a crucial part of any machine learning pipeline, and it can have a significant impact on both performance and training efficiency. This is especially evident when using deep neural networks for time series prediction and classification: real-world time series data often exhibit irregularities such as multi-modality, skewness and outliers, and the model performance can degrade rapidly if these characteristics are not adequately addressed. In this work, we propose the EDAIN (Extended Deep Adaptive Input Normalization) layer, a novel adaptive neural layer that learns how to appropriately normalize irregular time series data for a given task in an end-to-end fashion, instead of using a fixed normalization scheme. This is achieved by optimizing its unknown parameters simultaneously with the deep neural network using back-propagation. Our experiments, conducted using synthetic data, a credit default prediction dataset, and a large-scale limit order book benchmark dataset, demonstrate the superior performance of the EDAIN layer when compared to conventional normalization methods and existing adaptive time series preprocessing layers.

연구 동기 및 목표

• 왜도, 이상치, 무거운 尾를 포함한 비정상적인 시계열 데이터를 다루는 데 있어 z-score 및 min-max 스케일링과 같은 정적 정규화 방법의 한계를 해결하기 위해.
• 사전 처리 단계를 신경망 아키텍처에 통합하는 자동화된, 끝에서 끝까지 훈련 가능한 정규화 레이어를 개발하기 위해.
• 작업에 특화된 정규화를 학습하여 다변량 시계열 데이터에서 딥 신경망의 예측 성능과 훈련 효율성을 향상시키기 위해.
• 전역 인식형 및 국소 인식형 변형을 통해 단일모달 및 다중모달 데이터 분포에 모두 적용 가능한 융통성 있는 정규화 솔루션을 제공하기 위해.
• 비신경 모델과의 호환성을 위해 Kullback-Leibler 발산을 사용하는 EDAIN-KL을 통해 비지도 정규화를 가능하게 하기 위해.

제안 방법

• EDAIN은 DAIN 프레임워크를 확장하여 적응형 이상치 완화 서브레이어와 파wr 전환 서브레이어를 추가한 미분 가능한 신경 레이어이다.
• 파워 전환 서브레이어는 왜도를 줄이고 분산을 안정화시키기 위해 학습 가능한 파rameter를 사용해 비선형 변환을 적용한다.
• 이상치 완화는 정규화 중 극단적 값을 가중치를 낮추는 학습 가능한 스케일링 메커니즘을 통해 달성된다.
• 레이어는 PDF 평가의 캐시된 룩업 테이블에 대해 트라페즈로이드 적분과 이진 탐색을 사용해 역누적분포함수(CDF)를 추정한다.
• 두 가지 변형이 도입되었으며, 전역 인식형(단일모달 데이터용)과 국소 인식형(다중모달 데이터용)으로, 각각 기초 데이터 분포에 맞게 설계되었다.
• EDAIN-KL은 계산 효율성이 높은 변형으로, Kullback-Leibler 발산을 통해 훈련되어 레이블 없이도 비지도 정규화를 가능하게 한다.

Figure 1: Architecture of the proposed EDAIN (Extended Deep Adaptive Input Normalization) layer. The layout and color choices of the diagram are based on Figure 1 from Passalis et al., ( 2020 ) .

실험 결과

연구 질문

• RQ1 데이터에서 학습하는 적응형 정규화 레이어가 정적 정규화보다 비정상적인 시계열 데이터에서 딥 신경망 성능을 향상시키는가?
• RQ2 EDAIN은 왜도, 무거운 尾, 이상치를 포함한 복잡한 비정상성의 시계열에서 어떻게 성능을 내는가?
• RQ3 모델 가중치와 함께 정규화 파rameter를 끝에서 끝까지 최적화하면 일반화 성능과 훈련 효율성이 향상되는가?
• RQ4 EDAIN의 전역 인식형 및 국소 인식형 변형은 단일모달 대비 다중모달 데이터 분포를 다룰 때 어떻게 비교되는가?
• RQ5 EDAIN-KL은 비신경 모델과 호환 가능한 효과적인 비지도 정규화를 제공할 수 있는가?

주요 결과

• EDAIN은 합성, 신용 리스크, 한도 주문서 데이터를 포함한 모든 벤치마크 데이터세트에서 기존의 z-score 및 min-max 정규화보다 뛰어난 성능을 보였다.
• Amex 신용 리스크 예측 데이터세트에서 EDAIN은 기준 정규화 방법보다 더 높은 Amex 지표를 달성하여 순위 매기기 및 리스크 발생률 포착 능력 향상을 입증했다.
• EDAIN의 국소 인식형 변형은 다중모달 데이터에서 뛰어난 성능을 보였고, 전역 인식형 변형은 단일모달 분포에서 뛰어난 성능을 보였다.
• EDAIN-KL은 비지도 정규화에서 경쟁적인 성능을 기록했으며, KL 기반 훈련이 레이블 없이도 효과적인 정규화를 가능하게 한다는 것을 보여주었다.
• 제거 실험 결과, 파워 전환 및 이상치 완화 서브레이어 모두 성능 향상에 기여한다는 것이 확인되었다.
• EDAIN을 사용한 끝에서 끝까지 훈련은 고정된 사전 처리 파ip라인 대비 수동 하이퍼파ram터 튜닝이 줄어들고 수렴 속도가 빨라졌다.

Figure 2: Visual comparison of the local- and global-aware versions of adaptive preprocessing schemes.