[논문 리뷰] Dynamic Self-Attention : Computing Attention over Words Dynamically for Sentence Embedding

Deunsol Yoon, Dongbok Lee외 1명|arXiv (Cornell University)|2018. 08. 22.

Topic Modeling참고 문헌 14인용 수 40

한 줄 요약

이 논문은 Dynamic Self-Attention (DSA)를 도입합니다. 이는 캡슐 네트워크에서 영감을 얻은 동적 가중 벡터를 갖춘 자기 주의 메커니즘으로, 파라미터 수가 적으면서도 SNLI에서 최첨단 성능을 달성하고 SST에서 경쟁력 있는 결과를 보여줍니다.

ABSTRACT

In this paper, we propose Dynamic Self-Attention (DSA), a new self-attention mechanism for sentence embedding. We design DSA by modifying dynamic routing in capsule network (Sabouretal.,2017) for natural language processing. DSA attends to informative words with a dynamic weight vector. We achieve new state-of-the-art results among sentence encoding methods in Stanford Natural Language Inference (SNLI) dataset with the least number of parameters, while showing comparative results in Stanford Sentiment Treebank (SST) dataset.

연구 동기 및 목표

• 문장 임베딩을 위한 고정 가중치 벡터를 넘는 유연한 attention 메커니즘에 대한 동기를 제시한다.
• 다이나믹 라우팅 개념을 적용하여 동적 자기 Attention 가중치를 생성한다.
• DSA가 더 적은 파라미터와 효율적 계산으로 강력한 SNLI 결과를 달성할 수 있음을 보인다.

제안 방법

• 단어 표현을 인코딩하기 위해 Dense Connections가 있는 CNN을 구성한다.
• 공유 매개변수를 across words로 단어 임베딩을 투사하고 다이나믹 라우팅에서 영감을 얻은 과정으로 동적 가중 벡터를 반복적으로 정제하여 Dynamic Self-Attention (DSA)을 구현한다.
• 여러 개의 attention z1,...,zm를 연결하여 최종 문장 임베딩 z를 형성한다.
• 캡슐 특유의 구성 요소(예: squashing)를 제거하고, tanh를 스칼라 뉴런에 사용하며 주의(attention)에는 단어당 단일 벡터를 사용한다.
• 단일/다중 DSA에 대해 600-d 및 300-d 설정과 Leaky ReLU 활성화, 정규화를 위한 드롭아웃을 사용한다.
• 학습 중 GloVe 임베딩을 고정하고 SNLI 및 SST 작업에서 교차 엔트로피로 평가한다.

실험 결과

연구 질문

• RQ1 동적 입력 의존 가중 벡터가 정적 자기 주의보다 문장 임베딩의 품질을 향상시킬까?
• RQ2 DSA가 파라미터 수를 줄이고 학습 시간을 단축하면서 SNLI와 SST 벤치마크에서 경쟁력 있거나 최첨단 성능을 달성할 수 있을까?
• RQ3 attentions의 개수(m)와 투영 설정이 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 단일 DSA가 2.1 million 파라미터로 SNLI 테스트 정확도 86.8%의 최첨단 성능을 달성한다.
• 다중 DSA가 SNLI 성능을 더 향상시키며, 베이스라인 자기 주의 대비 상당한 상대적 이득을 보인다.
• SST에서 단일 DSA는 SST-2에서 88.5%, SST-5에서 50.6를 달성하여 경쟁력 있는 결과를 보인다.
• DSA는 파라미터 수를 줄이고 에폭당 학습 시간을 더 빠르게 하여 SNLI에서 여러 베이스라인보다 우수하다(예: 135 s/에폭).
• 동적 가중 벡터는 문장마다 다양한 방향을 보이며, 적응형 주의를 시연한다.