[논문 리뷰] DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding

Tao Shen, Tianyi Zhou외 4명|arXiv (Cornell University)|2017. 09. 14.

Topic Modeling참고 문헌 44인용 수 113

한 줄 요약

DiSAN은 방향성 및 다차원 자기주의를 도입하여 RNN/CNN 없이 문장을 인코딩하고, SNLI, SST, MultiNLI, SICK 및 다른 벤치마크에서 최첨단 결과를 달성하면서 효율성을 향상시킵니다.

ABSTRACT

Recurrent neural nets (RNN) and convolutional neural nets (CNN) are widely used on NLP tasks to capture the long-term and local dependencies, respectively. Attention mechanisms have recently attracted enormous interest due to their highly parallelizable computation, significantly less training time, and flexibility in modeling dependencies. We propose a novel attention mechanism in which the attention between elements from input sequence(s) is directional and multi-dimensional (i.e., feature-wise). A light-weight neural net, "Directional Self-Attention Network (DiSAN)", is then proposed to learn sentence embedding, based solely on the proposed attention without any RNN/CNN structure. DiSAN is only composed of a directional self-attention with temporal order encoded, followed by a multi-dimensional attention that compresses the sequence into a vector representation. Despite its simple form, DiSAN outperforms complicated RNN models on both prediction quality and time efficiency. It achieves the best test accuracy among all sentence encoding methods and improves the most recent best result by 1.02% on the Stanford Natural Language Inference (SNLI) dataset, and shows state-of-the-art test accuracy on the Stanford Sentiment Treebank (SST), Multi-Genre natural language inference (MultiNLI), Sentences Involving Compositional Knowledge (SICK), Customer Review, MPQA, TREC question-type classification and Subjectivity (SUBJ) datasets.

연구 동기 및 목표

• 다양한 NLP 작업에서 seq2seq 응용 분야를 넘어서는 통합된, RNN/CNN-free 어텐션 모델의 동기를 부여한다.
• 시간 순서를 보존하고 특징별 의존성을 유지하기 위한 방향성 및 다차원 자기주의를 제안한다.
• 전방/후방 방향성 자기주와 다차원 source2token 주의를 통해 단일 벡터를 생성하는 경량 DiSAN을 구성한다.
• DiSAN이 SNLI, SST, MultiNLI, SICK 및 기타 데이터셋에서 더 우수한 정확도와 효율성을 달성함을 보인다.

제안 방법

• 각 토큰에 대해 단일 스칼라 점수가 아니라 특징별 점수를 계산하는 다차원 어텐션을 도입한다.
• self-attention을 위한 토큰-간(token2token) 및 소스-토큰(source2token) 변형으로 다차원 어텐션을 확장한다.
• 마스킹된 토큰-간 자기주(attention)과 입력과 맥락을 결합하는 퓨전 게이트를 이용한 Directional Self-Attention(DiSA)을 개발한다.
• 전방 및 후방 DiSA 블록을 적용하고, 그 출력을 연결한 뒤 다차원 소스-토큰 어텐션으로 최종 문장 벡터를 생성하는 DiSAN 아키텍처를 구성한다.
• Attentive에서 시간 순서 및 방향 정보를 인코딩하기 위해 대각선 비활성(diag-disabled), 전방(forward), 후방(backward) 마스크를 사용한다.
• 교차 엔트로피 손실과 L2 정규화, Adadelta 옵티마이저, Glorot 초기화, 300D GloVe 임베딩, 드롭아웃 및 작업별 분류기를 활용한 학습.

실험 결과

연구 질문

• RQ1 회로를 사용하지 않는 주의(attention)만으로도 표준 NLP 벤치마크에서 경쟁력 있는 또는 우수한 성능을 달성할 수 있는가?
• RQ2 방향성(순서화된) 및 다차원(특징별) 어텐션이 전통적인 어텐션 메커니즘 대비 문장 인코딩을 향상시키는가?
• RQ3 가벼운 DiSAN이 NLI, 감성분석 및 분류와 같은 작업에서 정확도와 효율성 면에서 RNN/CNN 기반 인코더와 어떻게 비교되는가?
• RQ4 정방향 및 역방향 마스크의 조합이 맥락 표현에 어떤 영향을 미치는가?
• RQ5 DiSAN이 자연어 추론을 넘어 다수의 NLP 작업에 일반화될 수 있는가?

주요 결과

• DiSAN은 SNLI에서 문장 인코딩 모델 중 최고 테스트 정확도를 달성하고 최고치 대비 1.02% 포인트를 향상시켰다.
• DiSAN은 SST, MultiNLI, SICK, Customer Review, MPQA, SUBJ 및 TREC 데이터셋에서 최첨단 성능을 보여주었다.
• DiSAN은 파라미터 수가 2.35M에 불과하고 여러 RNN/CNN 베이스라인에 비해 훨씬 빠르다(예: SNLI에서 Bi-LSTM 대비 ×3 빠름).
• 다차원 및 방향성 어텐션 구성 요소가 베이스라인 대비 상당한 이득을 기여하며, 방향성 마스크가 시간 순서를 인코딩해 성능을 향상시킨다.
• DiSA 기반 블록과 다차원 소스-토큰 어텐션은 Bi-LSTM 인코더와 트리 구조 아키텍처를 가진 모델들보다 다수의 작업에서 더 나은 성능을 보일 수 있다.