[논문 리뷰] Attention-based Neural Bag-of-Features Learning for Sequence Data

Dat Tran, Nikolaos Passalis외 3명|arXiv (Cornell University)|2020. 05. 25.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 시퀀스 데이터에 대해 신경적 백과사전(NBoF) 모델의 표현력을 향상시키기 위해 시간과 코드워드 차원에서 양자화된 특징에 대해 동적이고 학습 가능한 가중치를 부여할 수 있는 일반적인 어텐션 메커니즘인 2D-Attention(2DA)을 제안한다. NBoF에 2DA를 플러그인 모듈로 통합함으로써, 금융 예측, 음성 분석, 의료 진단 작업에서 표준 NBoF 및 GRU 기반 모델과 경쟁하는 성능과 강건성을 확보하였다.

ABSTRACT

In this paper, we propose 2D-Attention (2DA), a generic attention formulation for sequence data, which acts as a complementary computation block that can detect and focus on relevant sources of information for the given learning objective. The proposed attention module is incorporated into the recently proposed Neural Bag of Feature (NBoF) model to enhance its learning capacity. Since 2DA acts as a plug-in layer, injecting it into different computation stages of the NBoF model results in different 2DA-NBoF architectures, each of which possesses a unique interpretation. We conducted extensive experiments in financial forecasting, audio analysis as well as medical diagnosis problems to benchmark the proposed formulations in comparison with existing methods, including the widely used Gated Recurrent Units. Our empirical analysis shows that the proposed attention formulations can not only improve performances of NBoF models but also make them resilient to noisy data.

연구 동기 및 목표

• 표준 NBoF 모델이 집계 과정에서 모든 양자화된 특징을 동일하게 취급함으로써 비정상적이고 노이즈가 많은 시퀀스 데이터에서 최적의 표현 학습이 어려운 점을 해결하기 위해.
• 행렬 구조의 시퀀스 데이터에서 시간 단계와 코드워드 양쪽 모두에서 특징의 중요도를 동적으로 할당할 수 있는 일반적이고 즉시 사용 가능한 어텐션 메커니즘을 개발하기 위해.
• 실제 응용 분야에서 노이즈 또는 불균형한 시퀀스 데이터를 포함한 금융 시계열, 음성 신호, 심전도/청취심장음 기록과 같은 환경에서 NBoF 모델의 표현 능력과 강건성을 향상시키기 위해.
• 다양한 시퀀스 학습 작업에서 어텐션 기반 NBoF 변종이 기준 NBoF 및 GRU와 같은 기존 순환 모델보다 일관되게 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 시간 단계와 코드워드로 구성된 2차원 특징 맵에 대해 어텐션 가중치를 계산하는 미분 가능 어텐션 메커니즘인 2D-Attention(2DA)를 제안하며, 관련 특징에 대한 선택적 집중을 가능하게 한다.
• NBoF 아키텍처의 다양한 단계에 삽입할 수 있는 경량이고 학습 가능한 모듈로 2DA를 통합함으로써, 다양한 해석을 가진 2DA-NBoF 모델의 탄력적 설계를 가능하게 한다.
• 어텐션 점수를 계산하기 위해 쿼리, 키, 밸류 투영을 사용하는 멀티헤드 어텐션 메커니즘을 적용하고, 소프트맥스 정규화를 통해 특징 재가중에 사용할 어텐션 가중치를 생성한다.
• 학습된 어텐션 가중치를 사용하여 NBoF 집계 단계에서 양자화된 특징의 가중 평균을 수행함으로써, 기존의 균일한 평균화 방식을 대체한다.
• ADAM을 사용한 확률적 최적화를 통해 전체 2DA-NBoF 모델을 엔드 투 엔드로 훈련하며, 가중치 감소, 드롭아웃, 배치 정규화를 통한 정규화를 적용한다.
• 모든 시퀀스에 공통된 코드북을 사용하며, 백프로파게이션 동안 함께 학습되어 전체 목적 함수를 최적화하도록 한다.

실험 결과

연구 질문

• RQ1 일반적이고 학습 가능한 어텐션 메커니즘이 시퀀스 데이터에 대한 신경적 백과사전(NBoF) 모델의 표현 능력을 향상시킬 수 있는가?
• RQ2 제안된 2D-어텐션 메커니즘이 다양한 도메인에서 노이즈가 많고 비정상적인 시퀀스 데이터에 대해 NBoF의 강건성을 향상시키는가?
• RQ3 금융 예측, 음성 분석, 의료 진단에서 어텐션 기반 NBoF 변종이 표준 NBoF 및 GRU와 같은 기존 순환 모델보다 성능에서 어떻게 비교되는가?
• RQ4 2DA 모듈이 NBoF 아키텍처의 다양한 단계에 플러그인 구성 요소로 효과적으로 사용될 수 있는가? 이로 인해 서로 다른 해석이 가능한 모델 변종이 도출되는가?

주요 결과

• 2DA-NBoF 모델은 AF 데이터셋에서 평균 F1 스코어 88.81±1.07을 기록하여 기준 NBoF(88.68±0.95)를 뛰어넘었으며, GRU 모델의 성능에도 근접하였다.
• PCG 데이터셋에서 2DA-NBoF 모델은 민감도와 특이도 평균 각각 72.34±1.32 및 69.45±0.89를 기록하여 노이즈가 많은 의료 신호 데이터에서 뛰어난 성능을 보였다.
• 어떤 도메인에서나 어텐션 기반 모델은 일관된 성능 향상을 보였으며, 이는 일반화 가능성과 강건성을 시사한다.
• 2DA 모듈은 노이즈가 많은 데이터에 대한 NBoF 모델의 내성 강화를 향상시켰으며, 불균형하거나 비정상적인 시퀀스 설정에서도 성능 향상이 관찰되었다.
• 간단하고 효율적인 구조임에도 불구하고, 2DA-NBoF 변종은 의료 진단 작업에서 GRU 기반 모델의 성능을 따라하거나 초월하였다.
• 제거 실험을 통해 어텐션 메커니즘이 특징 표현 능력을 크게 향상시켰으며, F1 스코어와 균형 잡힌 정확도 지표 모두에서 성능 향상이 확인되었다.