[논문 리뷰] DABERT: Dual Attention Enhanced BERT for Semantic Matching

Sirui Wang, Di Liang외 3명|arXiv (Cornell University)|2022. 10. 07.

Topic Modeling인용 수 6

한 줄 요약

DABERT는 문장 쌍 간의 유사성과 차이를 명시적으로 모델링하기 위해 이중 채널 어텐션 모듈과 적응형 융합 메커니즘을 사용하는 이중 어텐션 메커니즘을 제안한다. 이 모델은 의미 매칭 작업에서 BERT 및 기타 BERT 기반 모델보다 2퍼센트 이상의 절대적 성능 향상을 달성하며, 미세한 텍스트 변형에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

Transformer-based pre-trained language models such as BERT have achieved remarkable results in Semantic Sentence Matching. However, existing models still suffer from insufficient ability to capture subtle differences. Minor noise like word addition, deletion, and modification of sentences may cause flipped predictions. To alleviate this problem, we propose a novel Dual Attention Enhanced BERT (DABERT) to enhance the ability of BERT to capture fine-grained differences in sentence pairs. DABERT comprises (1) Dual Attention module, which measures soft word matches by introducing a new dual channel alignment mechanism to model affinity and difference attention. (2) Adaptive Fusion module, this module uses attention to learn the aggregation of difference and affinity features, and generates a vector describing the matching details of sentence pairs. We conduct extensive experiments on well-studied semantic matching and robustness test datasets, and the experimental results show the effectiveness of our proposed method.

연구 동기 및 목표

• BERT가 문장 쌍 간의 의미적으로 다를 수 있지만 텍스트적으로 유사한 쌍을 구분하는 데에 한계가 있다는 문제를 해결하기 위해.
• 이중 채널 어텐션 메커니즘을 사용해 문장 쌍 간의 세분화된 의미적 차이를 명시적으로 모델링하기 위해.
• 사전 훈련된 BERT 표현을 손상시키지 않으면서 유사성 및 차이 특징을 소프트하고 적응형으로 융합하는 메커니즘을 개발하기 위해.
• 단어 추가, 삭제, 대체와 같은 미세한 텍스트 변형에 대한 모델의 강건성을 향상시키기 위해.
• 엔드 투 엔드 훈련 가능성을 유지하면서도 표준 의미 매칭 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 유사성(표준 자기어텐션)과 차이(뺄셈 기반 교차어텐션)를 각각 처리하는 두 개의 병렬 어텐션 스트림을 사용하는 이중 어텐션 모듈을 도입한다. 이는 의미적 대비를 포착하기 위함이다.
• 차이 및 유사성 표현을 다중헤드 어텐션 레이어에 통합하기 위해 이중 채널 인젝션 메커니즘을 활용하여 별개의 의미 신호를 유지한다.
• 교차어텐션을 통해 차이 및 유사성 특징을 상호 정렬한 후 게이트 기반 융합을 통해 적응형 통합을 수행하는 적응형 융합 모듈을 설계한다.
• 융합된 표현을 스케일링하기 위해 퓨즈 게이트 모듈을 적용하여 BERT의 사전 훈련된 표현에 대한 영향 최소화를 도모한다.
• 전체 모델을 엔드 투 엔드로 훈련하여 사전 훈련된 BERT 프레임워크에 차이 모델링을 부드럽게 통합한다.
• 어텐션 가중치 시각화를 통해 모델이 공통 용어가 아닌 대조적 단어(예: 'hardware' 대비 'software')에 주로 집중함을 검증한다.

실험 결과

연구 질문

• RQ1 BERT의 기존 자기어텐션은 문장 쌍 간의 세분화된 의미적 차이를 더 잘 포착하기 위해 어떻게 개선될 수 있는가?
• RQ2 사전 훈련된 모델의 성능을 떨어뜨리지 않으면서 유사성 및 차이 표현을 최적의 방식으로 융합하는 방법은 무엇인가?
• RQ3 의미적 차이를 명시적으로 모델링하면 의미 매칭 작업에서 미세한 텍스트 변형에 대한 강건성이 향상되는가?
• RQ4 표준 어텐션과 비교했을 때 이중 채널 어텐션 메커니즘은 미세한 의미적 대비를 포착하는 데 어떻게 더 효과적인가?
• RQ5 고정 또는 하드 가중치 융합 전략에 비해 적응형 융합 메커니즘이 매칭 정확도 향상에 얼마나 기여하는가?

주요 결과

• DABERT는 표준 BERT에 비해 10개의 공개 의미 매칭 데이터셋 평균에서 2퍼센트 이상의 절대적 성능 향상을 달성한다.
• 추가 데이터 없이도 고급 기술이나 외부 지식을 사용한 다른 BERT 기반 모델보다도 뛰어난 성능을 보인다.
• 노이즈를 주입한 강건성 평가 데이터셋(예: 단어 교환, 삭제)에서 DABERT는 BERT 및 기타 기준 모델보다 유의미하게 높은 정확도를 유지한다.
• 사례 연구 결과, DABERT는 BERT 및 Syntax-BERT가 실패하는 미세한 차이(예: '12' 대비 '24')로 인한 의미적 갈등을 정확히 식별한다.
• 어텐션 시각화 결과 DABERT는 대조적 단어(예: 'hardware' 및 'software')에 대해 어텐션 가중치를 증가시켜 효과적인 차이 모델링을 수행함을 확인한다.
• 적응형 융합 메커니즘이 유사성 및 차이 신호를 효과적으로 균형 잡아, 통합된 표현의 품질 저하를 줄였다.