[논문 리뷰] A Structured Self-attentive Sentence Embedding

Zhouhan Lin, Minwei Feng외 5명|arXiv (Cornell University)|2017. 03. 09.

Topic Modeling인용 수 1,463

한 줄 요약

이 논문은 구조화된 주의 메커니즘을 통해 여러 문장 부분에 주의를 기울이는 2-D 매트릭스 문장 임베딩을 제시하고, 저자 프로파일링, 감성 분석, 텍스트 함의에서 시각화 및 성능 향상을 가능하게 한다.

ABSTRACT

This paper proposes a new model for extracting an interpretable sentence embedding by introducing self-attention. Instead of using a vector, we use a 2-D matrix to represent the embedding, with each row of the matrix attending on a different part of the sentence. We also propose a self-attention mechanism and a special regularization term for the model. As a side effect, the embedding comes with an easy way of visualizing what specific parts of the sentence are encoded into the embedding. We evaluate our model on 3 different tasks: author profiling, sentiment classification, and textual entailment. Results show that our model yields a significant performance gain compared to other sentence embedding methods in all of the 3 tasks.

연구 동기 및 목표

• 해석 가능한 문장 임베딩을 2-D 매트릭스로 구현된 자기-attention을 사용해 개발한다.
• 여러 어탠션 홉을 통해 문장의 서로 다른 의미 측면을 포착한다.
• 어탠션 홉 간의 중복성을 줄이고 해석 가능성을 높이기 위한 규제 항을 제공한다.
• 저자 프로파일링, 감성 분석, 텍스트 함의 과제에서 접근 방식을 시연한다.
• 임베딩에 기여하는 문장 부분을 해석하기 위한 시각화 기법을 제공한다.]
• method:["각 토큰에 대한 은닉 상태를 생성하는 양방향 LSTM 사용","두 계층 MLP를 통해 어텐션 가중치 벡터 집합을 계산하고(hops에 대해 소프트맥스) 주석 행렬 A를 형성한다","H가 LSTM 은닉 상태 시퀀스이고 A가 r개의 어탠션 홉을 인코딩할 때 고정 크기 임베딩 M = AH를 구성한다","임베딩에서 다중 홉(r행)을 확장해 다양한 의미 측면을 포착한다","다양성과 집중도를 촉진하기 위해 페널티 항 P = ||AA^T - I||_F^2를 도입한다","선택적으로 홉별 시각화와 전체 어텐션을 합성해 임베딩에 영향을 주는 단어를 해석한다."]
• research_questions:[

제안 방법

• Bidirectional LSTM to produce hidden states for each token.
• Compute a set of attention weight vectors via a two-layer MLP (softmax over hops) to form an annotation matrix A.
• Construct a fixed-size embedding M = AH, where H is the sequence of LSTM hidden states and A encodes r attention hops.
• Extend to multiple hops (r rows) in the embedding to capture diverse semantic aspects.
• Introduce a penalization term P = ||AA^T - I||_F^2 to encourage diversity and focus among attention hops.
• Optionally visualize per-hop and aggregate attention to interpret which words influence the embedding.

실험 결과

연구 질문

• RQ1 Can self-attentive, matrix-based sentence embeddings outperform traditional vector embeddings on diverse NLP tasks?
• RQ2 Does a diversity-encouraging penalty improve interpretability and model performance?
• RQ3 How does multi-hop attention (varying r) affect performance across tasks of increasing sentence length?
• RQ4 Can the model provide intuitive visualizations that align with human interpretation of sentence semantics?

주요 결과

모델	Yelp	연령
저희 모델	64.21%	80.45%
BiLSTM + Max Pooling + MLP	61.99%	77.40%
CNN + Max Pooling + MLP	62.05%	78.15%

• On Yelp sentiment classification, the proposed model achieves 64.21% accuracy versus 61.99% (BiLSTM+Max) and 62.05% (CNN+Max).
• On the Age author-profiling task, the model achieves 80.45% accuracy versus 77.40% (BiLSTM+Max) and 78.15% (CNN+Max).
• The penalization term improves performance on Yelp and Age, yielding 1.0 penalty results (64.21% and 80.45%) vs 0.0 penalty (61.74% and 79.27%).
• For SNLI, the proposed method achieves competitive results (84.4% test accuracy) against other sentence-embedding-based models, often close to state-of-the-art methods.