[논문 리뷰] Residual Attention Net for Superior Cross-Domain Time Sequence Modeling

Seth H. Huang, Lingjie Xu외 1명|arXiv (Cornell University)|2020. 01. 13.

Human Pose and Action Recognition참고 문헌 20인용 수 9

한 줄 요약

이 논문은 크로스도메인 시계열 모델링에서 장기 의존성과 노이즈 민감도 문제를 해결하기 위해 유니버설 트랜스포머, 잔차 연결, 하이웨이 연결을 조합한 새로운 아키텍처인 리저벌 어텐션 넷(RAN)을 제안한다. UCR 85 벤치마크 데이터셋에서 RAN은 정밀도 조정 없이도 35개 작업에서 최신 기술 수준(SOTA) 성능을 달성하여 다양한 시퀀스 도메인에서 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

We present a novel architecture, residual attention net (RAN), which merges a sequence architecture, universal transformer, and a computer vision architecture, residual net, with a high-way architecture for cross-domain sequence modeling. The architecture aims at addressing the long dependency issue often faced by recurrent-neural-net-based structures. This paper serves as a proof-of-concept for a new architecture, with RAN aiming at providing the model a higher level understanding of sequence patterns. To our best knowledge, we are the first to propose such an architecture. Out of the standard 85 UCR data sets, we have achieved 35 state-of-the-art results with 10 results matching current state-of-the-art results without further model fine-tuning. The results indicate that such architecture is promising in complex, long-sequence modeling and may have vast, cross-domain applications.

연구 동기 및 목표

• 시계열 모델링에서 특히 장기적이고 노이즈가 많은 시계열 데이터에 대해 장기 의존성 문제를 해결하기 위해.
• 금융 및 실제 세계의 시계열에서 흔한 비정상성과 고노이즈 환경에서의 모델 일반화 능력을 향상시키기 위해.
• 기존 방법에 비해 광범위한 초모수 튜닝이 필요 없는 실용적인 엔드 투 엔드 딥 러닝 아키텍처를 개발하기 위해.
• 트랜스포머 기반 어텐션, 잔차 학습, 하이웨이 연결의 융합을 통해 향상된 시퀀스 표현을 도모하기 위해.
• 다양한 시계열 분류 작업에 걸쳐 아키텍처의 크로스도메인 적용 가능성을 검증하기 위해.

제안 방법

• RAN은 전역적 시퀀스 어텐션을 위해 유니버설 트랜스포머를 통합하고, 깊은 학습의 안정성과 잔차 매핑을 가능하게 하기 위해 잔차 블록을 활용한다.
• 특징의 레이어 간 흐름을 가능하게 하여 기울기 흐름을 향상시키고 더 깊은 아키텍처를 가능하게 하기 위해 하이웨이 연결을 통합한다.
• 트랜스포머의 어텐션 메커니즘을 활용해 장거리 의존성을 포착하고, ResNet의 잔차 연결을 통해 기울기 소실 문제를 완화한다.
• 모델은 UCR 시계열 벤치마크에서 정밀도 조정 없이 엔드 투 엔드로 훈련된다.
• 하이브리드 설계를 활용하여 장거리 컨텍스트를 위해 자기 어텐션을, 안정적인 최적화를 위해 잔차 학습을 조합한다.
• 일반화 능력과 강건성을 평가하기 위해 85개의 표준 UCR 시계열 분류 데이터셋에서 평가가 수행된다.

실험 결과

연구 질문

• RQ1 트랜스포머, 잔차 네트워크, 하이웨이 연결을 융합한 하이브리드 아키텍처가 기존 모델보다 장시계열 시계열 모델링에서 뛰어난 성능을 내는가?
• RQ2 어텐션과 잔차 학습의 통합이 노이즈가 많고 비정상적인 시계열 데이터에서 일반화 능력을 향상시키는가?
• RQ3 RAN이 정밀도 조정 없이 다양한 도메인에서 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 LSTM-FCN, ResNet, 및 앙상블 방법(예: COTE)과 같은 강력한 베이스라인과 비교했을 때 RAN의 정확도와 통계적 유의성은 어떠한가?
• RQ5 제안된 아키텍처가 크로스도메인 설정에서 짧은 시퀀스 길이와 긴 시퀀스 길이 모두에서 성능을 유지하는가?

주요 결과

• RAN은 정밀도 조정 없이 UCR 시계열 분류 데이터셋 85개 중 35개에서 최신 기술 수준 성능을 달성했다.
• 추가로 10개의 데이터셋에서 현재 최신 기술 수준 결과를 달성하여 강력한 일반화 능력과 강건성을 시사한다.
• 윌콕슨 부호 순위 검정을 통한 통계 분석 결과, RAN은 LSTM-FCN, ResNet, COTE를 포함한 모든 비교 모델을 유의미하게 뛰어넘었으며, 대부분의 비교에서 p-값 < 0.001이었다.
• 극도로 노이즈가 많고 비정상적인 시계열인 PigCVP 및 PigArtPressure 데이터셋에서 RAN은 높은 정확도를 달성하여 장기적이고 노이즈가 많은 시퀀스에서 뛰어난 성능을 보였다.
• GunPointMaleVersusFemale 및 UMD와 같은 몇몇 벤치마크에서 RAN은 완벽하거나 거의 완벽한 정확도(1.0)를 달성하여 복잡한 시퀀스에서 강력한 패턴 인식 능력을 보였다.
• BOSS, TSBF, MLP와 같은 강력한 베이스라인에 비해 RAN은 일관된 우월성을 보였으며, RAN 유리도 p-값 범위가 1.11×10⁻¹⁰에서 3.76×10⁻⁶로 나타났다.