[논문 리뷰] Temporal Convolutional Attention-based Network For Sequence Modeling

Hao, Hongyan, Yan Wang외 4명|arXiv (Cornell University)|2020. 02. 28.

Topic Modeling참고 문헌 16인용 수 39

한 줄 요약

TCAN은 시간적 컨볼루션과 주의집중 및 향상된 잔차를 결합하여 시퀀스를 모델링하고, compact하고 비순환적 아키텍처로 PTB와 WikiText-2에서 최첨단 perplexities/bpc를 달성합니다.

ABSTRACT

With the development of feed-forward models, the default model for sequence modeling has gradually evolved to replace recurrent networks. Many powerful feed-forward models based on convolutional networks and attention mechanism were proposed and show more potential to handle sequence modeling tasks. We wonder that is there an architecture that can not only achieve an approximate substitution of recurrent network, but also absorb the advantages of feed-forward models. So we propose an exploratory architecture referred to Temporal Convolutional Attention-based Network (TCAN) which combines temporal convolutional network and attention mechanism. TCAN includes two parts, one is Temporal Attention (TA) which captures relevant features inside the sequence, the other is Enhanced Residual (ER) which extracts shallow layer's important information and transfers to deep layers. We improve the state-of-the-art results of bpc/perplexity to 30.28 on word-level PTB, 1.092 on character-level PTB, and 9.20 on WikiText-2.

연구 동기 및 목표

• 시퀀스 모델링에서 재발 신경망을 근접시키면서도 인과성(causality)과 병렬화 가능성을 유지할 수 있는 피드포워드 아키텍처의 탐색 동기를 제시한다.
• Temporal Convolutional Networks와 attention 메커니즘을 하이브리드한 TCAN을 도입하여 내부 시퀀스 상관관계를 포착한다.
• 중요 정보를 계층 간에 전달하되 매개변수를 추가하지 않는 Enhanced Residuals를 제안한다.
• PTB 단어 수준, PTB 문자 수준, 그리고 WikiText-2 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• Temporal Attention(TA)와 Enhanced Residual(ER) 두 모듈을 갖는 Temporal Convolutional Attention-based Network(TCAN)을 제안한다.
• 지연(dilation) d=2^l인 증가된 receptive field를 갖는 인과적 확장 컨볼루션 백본을 사용하여 시퀀스 의존성을 모델링한다.
• TA에서 계층 입력으로부터 keys, queries, values를 계산하고 인과성을 보존하기 위해 lower-triangular masked attention을 적용한다.
• ER에서 TA로부터 정보를 가중하고 집계하여 표준 잔차 경로와 결합되는 향상된 잔차를 형성한다.
• Adam 옵티마이저로 학습하고 PTB와 WT2에서 TCAN을 RNN-, CNN-, Transformer 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 피드포워드 비순환 아키텍처가 표준 언어 모델링 벤치마크에서 재발 모델과 대등하거나 능가할 수 있는가?
• RQ2 인과적 확장 컨볼루션과 시간적 주의집중을 통합하면 인과성을 보존하면서 장거리 의존성을 포착하는가?
• RQ3 향상된 잔차 메커니즘이 매개변수를 늘리지 않고 정보 전달을 개선하는가?
• RQ4 TCAN은 PTB 단어 수준, PTB 문자 수준, 그리고 WikiText-2에서 최첨단 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• TCAN은 PTB 단어 수준에서 30.28 perplexity, PTB 문자 수준에서 1.092 bits-per-character, 그리고 WikiText-2에서 9.20 perplexity를 달성합니다(미래 정보 누출 없음).
• TCAN은 평가된 데이터셋들에서 AWD-LSTM, TrellisNet, 일반 TCN 등 여러 베이스라인을 능가합니다.
• 특정 ablation을 통해 Temporal Attention이 이 작업에 대해 동등한 컨볼루션 층보다 더 효과적임이 나타났습니다.
• Enhanced Residuals는 매개변수를 추가하지 않고도 성능 향상을 제공합니다.
• TCAN은 Transformer 및 RNN 기반 모델보다 크기가 작으면서도 강한 성능을 제공합니다.