[논문 리뷰] Improving Attention Mechanism with Query-Value Interaction

Chuhan Wu, Fangzhao Wu외 2명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 18인용 수 5

한 줄 요약

이 논문은 쿼리와 값 간의 직접적 상호작용을 모델링하여 주의 메커니즘을 향상시키기 위해 쿼리-값 상호작용(Query-Value Interaction, QVI)을 제안한다. 요소별 상호작용과 게이팅 메커니즘을 통해 쿼리 인식 주의 값들을 학습한다. 텍스트 분류 및 NER 작업에서의 실험 결과, Transformer, BERT, CNN-LSTM 아키텍처를 포함한 다양한 모델에서 일관된 성능 향상이 관찰되어, 쿼리-값 상호작용을 통합함으로써 표현 학습과 모델 정확도가 향상됨을 입증한다.

ABSTRACT

Attention mechanism has played critical roles in various state-of-the-art NLP models such as Transformer and BERT. It can be formulated as a ternary function that maps the input queries, keys and values into an output by using a summation of values weighted by the attention weights derived from the interactions between queries and keys. Similar with query-key interactions, there is also inherent relatedness between queries and values, and incorporating query-value interactions has the potential to enhance the output by learning customized values according to the characteristics of queries. However, the query-value interactions are ignored by existing attention methods, which may be not optimal. In this paper, we propose to improve the existing attention mechanism by incorporating query-value interactions. We propose a query-value interaction function which can learn query-aware attention values, and combine them with the original values and attention weights to form the final output. Extensive experiments on four datasets for different tasks show that our approach can consistently improve the performance of many attention-based models by incorporating query-value interactions.

연구 동기 및 목표

• 기존 주의 메커니즘에서 쿼리-값 간의 본질적 관계를 忽시하는 한계를 해결하기 위해.
• 쿼리와 값 간의 상호작용을 명시적으로 모델링하여 쿼리 인식 값들을 학습함으로써 주의 기반 모델의 성능을 향상시키기 위해.
• 학습 가능한 게이팅 메커니즘을 통해 원본 값들과 쿼리 인식 값을 조합함으로써 출력 표현의 정확도를 향상시키기 위해.
• 쿼리-값 상호작용의 효과성을 다양한 아키텍처와 NLP 작업 전반에서 검증하기 위해.

제안 방법

• 쿼리와 값 벡터 간의 요소별 상호작용을 계산하기 위해 학습 가능한 가중치 행렬을 사용하는 쿼리-값 상호작용 함수 $ g(\mathbf{Q}, \mathbf{V}) $ 를 제안한다.
• 원본 값 $ \mathbf{V} $ 와 쿼리 인식 값 $ g(\mathbf{Q}, \mathbf{V}) $ 를 조합하기 위한 게이팅 메커니즘을 도입하여 각 구성 요소의 상대적 중요도를 학습한다.
• 표준 주의 메커니즘 $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K})\mathbf{V} $ 를 $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K}) \cdot \text{gating}(\mathbf{V}, g(\mathbf{Q}, \mathbf{V})) $ 로 수정하며, 주의 가중치는 쿼리-키 상호작용에서 유도된다.
• 기본 $ f(\mathbf{Q}, \mathbf{K}) $ 로 스케일드 소프트맥스를 사용한 도트 프로덕트 주의를 활용하며, $ g(\mathbf{Q}, \mathbf{V}) $ 는 선형 변환과 요소별 곱셈을 통해 구현된다.
• QVI 메커니즘을 다양한 모델, 즉 CNN, LSTM, HAN, Transformer 등에 적용하여 여러 NLP 작업에 걸쳐 적용한다.

실험 결과

연구 질문

• RQ1 쿼리-값 상호작용을 모델링하면 NLP 작업에서 주의 기반 모델의 성능 향상에 기여하는가?
• RQ2 표준 주의 메커니즘과 비교했을 때, 쿼리 인식 값들을 통합함으로써 표현 학습은 어떻게 영향을 받는가?
• RQ3 최종 출력에서 원본 값과 쿼리-값 상호작용 구성 요소 간의 상대 기여도는 어떠한가?
• RQ4 QVI 메커니즘은 다양한 아키텍처와 작업에 일반화되는가?

주요 결과

• QVI 메커니즘은 AG News, Amazon, SIGHAN Bakeoff-3, Bakeoff-4의 네 가지 벤치마크 데이터셋에서 일관되게 성능 향상을 보였다.
• AG News 데이터셋에서 Transformer-QVI는 93.40 F1을 기록하여 표준 Transformer(93.37 F1)를 초월했다.
• Amazon 데이터셋에서 Transformer-QVI는 65.82 F1을 기록하여 표준 Transformer(65.82 F1)를 넘어서며, HAN-QVI는 84.42에서 84.75 F1으로 향상되었다.
• SIGHAN Bakeoff-4 데이터셋에서 CNN-Transformer-QVI-CRF는 87.70 F1을 기록하여 CNN-Transformer-CRF(87.24 F1)를 능가했다.
• 제거 실험 결과, 원본 값과의 조합 없이 쿼리-값 상호작용만을 사용할 경우 성능이 열 劣화되며, 게이팅 메커니즘이 추가로 성능 향상에 기여하는 것으로 나타났다.
• QVI 메커니즘은 CNN, LSTM, HAN, Transformer를 포함한 다양한 아키텍처에서 효과적이며, 광범위한 적용 가능성을 보여준다.