[논문 리뷰] Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing

Rui Yu, Yifeng Li외 2명|arXiv (Cornell University)|2022. 11. 05.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 처리(NLP)에서 문맥 인식 표현을 향상시키기 위해 쿼리, 키, 컨텍스트 간의 상호작용을 명시적으로 모델링하는 새로운 삼중주의 메커니즘인 Tri-Attention를 제안한다. 표준 이중주의(Bi-Attention)를 삼차원 텐서 연산으로 확장함으로써, 문장 매칭, 대화, 독해 등 다양한 NLP 작업에서 최신 기술보다 뛰어난 성능을 보이며, 비주의 및 주의 기반 기준 모델에 비해 일관된 성능 향상을 보였다.

ABSTRACT

In natural language processing (NLP), the context of a word or sentence plays an essential role. Contextual information such as the semantic representation of a passage or historical dialogue forms an essential part of a conversation and a precise understanding of the present phrase or sentence. However, the standard attention mechanisms typically generate weights using query and key but ignore context, forming a Bi-Attention framework, despite their great success in modeling sequence alignment. This Bi-Attention mechanism does not explicitly model the interactions between the contexts, queries and keys of target sequences, missing important contextual information and resulting in poor attention performance. Accordingly, a novel and general triple-attention (Tri-Attention) framework expands the standard Bi-Attention mechanism and explicitly interacts query, key, and context by incorporating context as the third dimension in calculating relevance scores. Four variants of Tri-Attention are generated by expanding the two-dimensional vector-based additive, dot-product, scaled dot-product, and bilinear operations in Bi-Attention to the tensor operations for Tri-Attention. Extensive experiments on three NLP tasks demonstrate that Tri-Attention outperforms about 30 state-of-the-art non-attention, standard Bi-Attention, contextual Bi-Attention approaches and pretrained neural language models1.

연구 동기 및 목표

• 표준 이중주의 메커니즘이 문맥 정보를 忽시하고 쿼리, 키, 컨텍스트 간의 상호작용을 모델링하지 못하는 한계를 해결하기 위해.
• 쿼리, 키, 컨텍스트 간의 상호작용을 명시적으로 캡처하는 일반 목적의 주의 프레임워크를 개발하여 인간의 문맥 주의 방식을 모방하기 위해.
• 문장 매칭, 대화 이해, 기계 독해와 같은 문맥 민감한 NLP 작업에서 컨텍스트를 주의 계산에 직접 통합함으로써 성능 향상을 도모하기 위해.
• 다양한 유사도 스코어링 방법(덧셈, 도트곱, 스케일드 도트곱, 이차형)에 기반한 다양한 변형을 가진 유연하고 스택형 아키텍처를 제공하기 위해.

제안 방법

• 표준 이중주의를 확장하여 주의 계산에 컨텍스트를 세 번째 차원으로 도입함으로써 쿼리, 키, 컨텍스트 간의 삼중 상호작용을 형성하는 Tri-Attention 메커니즘을 제안한다.
• 텐서 대수학을 활용해 네 가지 변형을 유도한다: Tri-Attention_Add, Tri-Attention_Dot, Tri-Attention_ScaledDot, Tri-Attention_Bilinear. 각각 다른 유사도 스코어링 연산에 기반한다.
• 쿼리, 키, 컨텍스트 간의 관련성 스코어를 텐서 연산을 통해 계산함으로써 삼차원 주의 행렬을 생성하여 시퀀스 및 문맥 상호작용을 함께 모델링한다.
• 최종 출력의 의미 공간 일관성을 확보하기 위해 컨텍스트와 값 간의 유사도를 계산하여 문맥적 값을 도입한다.
• 다양한 작업에 맞게 주의 레이어 수를 동적으로 조정할 수 있는 스택형 모듈식 아키텍처(TAN)를 도입한다.
• 딥 네URAL 네트워크 내부에 Tri-Attention 모듈을 통합하여 NLP 작업에서 엔드 투 엔드 학습을 수행하며, 설계 선택 사항을 검증하기 위해 추론 및 하이퍼파rameter 분석을 실시한다.

실험 결과

연구 질문

• RQ1 표준 이중주의 대비 쿼리, 키, 컨텍스트 간의 상호작용을 명시적으로 모델링함으로써 NLP 작업에서 주의 성능 향상이 가능할까?
• RQ2 다양한 텐서 기반 유사도 스코어링 방법(덧셈, 도트곱 등)이 Tri-Attention 메커니즘의 성능에 어떤 영향을 미치는가?
• RQ3 주의 계산에 컨텍스트를 제1의 구성 요소로 통합함으로써 다양한 NLP 작업에 걸쳐 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 다양한 NLP 작업에 최적화된 Tri-Attention 레이어 수와 유사도 스코어링 방법은 무엇인가?
• RQ5 Tri-Attention는 비주의 및 최신 사전 훈련된 언어 모델을 모두 초월할 수 있는가?

주요 결과

• Tri-Attention는 문장 매칭(LCQMC), 대화(Ubuntu), 독해(RACE)와 같은 세 가지 주요 NLP 작업에서 비주의, 표준 이중주의, 문맥 기반 이중주의, 사전 훈련된 언어 모델 포함 30개의 최신 기술 모델을 모두 초월한다.
• 덧셈 기반 변형(Tri-Attention_Add)이 특히 미세한 의미적 차이를 식별하는 데 뛰어난 안정성과 성능을 보였다.
• LCQMC 데이터셋에서 Bi-Attention와 C-BiAttention가 실패한 151개의 인스턴스를 Tri-Attention가 정확히 분류했으며, 이 중 102개는 부정(의미적으로 다름) 쌍이었고, 이는 모호한 케이스에서의 더 나은 분류 능력을 시사한다.
• Tri-Attention 레이어 수와 유사도 스코어링 방법의 선택은 성능에 상당한 영향을 미치며, 최적 설정은 작업에 따라 달라지므로 작업별 최적화가 필요하다는 점을 시사한다.
• 사례 연구 결과, Tri-Attention는 문맥 정보를 효과적으로 활용하여 모호함을 해결하는 데 성공했다. 예를 들어, '재생' vs. '다운로드' 영화를 구분하는 데서 단어 수준의 유사도가 잘못된 판단을 유도하는 기존 모델과 대비하여 뛰어난 성능을 보였다.
• 이 프레임워크는 사전 훈련 없이도 일반화 가능하고 효과적이므로, 다양한 아키텍처에 통합 가능한 플러그인 주의 모듈로서의 가치를 지닌다.