[논문 리뷰] Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks

Yinan Zhang, Raphael Tang외 1명|arXiv (Cornell University)|2019. 11. 07.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 기존의 전트랜스포머 모델에서 유래한 명시적 쌍방향 단어 상호작용(PWI) 모듈을 BERT에 통합하여 영어 의미 유사도 작업에서 성능을 햖थ기고자 제안한다. BERT의 자기주의 주의 이후에 제약된 컨volutional PWI 레이어를 추가함으로써, 네 가지 벤치마크 데이터셋 전반에서 일관되고 통계적으로 유의미한 성능 향상을 달성하였으며, 이는 명시적 상호작용 모델링이 자기주의 주의가 이미 전역적 상호작용을 암묵적으로 포착하고 있음에도 불구하고, 사전학습된 트랜스포머의 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

In English semantic similarity tasks, classic word embedding-based approaches explicitly model pairwise "interactions" between the word representations of a sentence pair. Transformer-based pretrained language models disregard this notion, instead modeling pairwise word interactions globally and implicitly through their self-attention mechanism. In this paper, we hypothesize that introducing an explicit, constrained pairwise word interaction mechanism to pretrained language models improves their effectiveness on semantic similarity tasks. We validate our hypothesis using BERT on four tasks in semantic textual similarity and answer sentence selection. We demonstrate consistent improvements in quality by adding an explicit pairwise word interaction module to BERT.

연구 동기 및 목표

• 기존의 전트랜스포머 모델에서 효과적이었던 명시적 쌍방향 단어 상호작용 메커니즘이 현대의 사전학습된 트랜스포머 모델인 BERT에서 성능 향상에 기여하는지 조사하는 것.
• 자기주의 주의를 통해 단어 상호작용을 암묵적으로 모델링하는 현재의 트랜스포머 기반 모델의 격차를 메우기 위해 제약된 명시적 상호작용 모듈을 도입하는 것.
• BERT와 구조적인 PWI 모듈을 조합함으로써 의미적 텍스트 유사도 및 답변 문장 선택 작업에서 성능 향상이 이루어지는지 평가하는 것.

제안 방법

• BERT의 최종 레이어 뒤에 깊이 있는 쌍방향 단어 상호작용(VDPWI) 모듈을 통합하여, 두 입력 문장의 단어 표현 간의 쌍방향 거리 행렬을 계산한다.
• 쌍방향 상호작용 행렬에 컨volutional 신경망(CNN)을 적용하여 局소 패턴을 추출하고, 의미 유사도를 패턴 인식 작업으로 간주한다.
• 두 문장을 [CLS] 및 [SEP] 토큰과 함께 연결하여 함께 BERT를 통해 처리하고, 그 후에 PWI 모듈을 적용하는 공동 인코딩 방식을 사용한다.
• 표준 미세조정 절차를 사용하여 모델을 엔드 투 엔드로 훈련시키며, 각 데이터셋에 맞는 손실 함수를 사용한다: 회귀 작업(SSTS-B, SICK)에는 쿨백-라이블러 발산을, 분류 작업(WikiQA, TrecQA)에는 음의 로그우도를 사용한다.
• PWI 모듈 내의 BiLSTM 사용 여부를 제거하여 그 필요성을 평가하고, 이를 포함한 모델과 포함하지 않은 모델을 비교한다.
• PWI 모듈 훈련에는 RMSProp을, BERT 미세조정에는 Adam을 사용하며, 하이퍼파ram터는 개발 세트에서 그리드 및 무작위 탐색을 통해 최적화한다.

실험 결과

연구 질문

• RQ1 제약된 명시적 쌍방향 단어 상호작용 모듈을 추가함으로써 BERT의 의미 유사도 작업 성능 향상이 이루어지는가?
• RQ2 두 문장을 함께 처리하는 공동 인코딩 방식이 명시적 PWI를 가진 모델에서 별도 인코딩보다 더 효과적인가?
• RQ3 PWI 모듈에 BiLSTM을 포함시킬 경우 단순한 CNN 전용 아키텍처에 비해 유의미한 성능 향상이 이루어지는가?
• RQ4 명시적 PWI로 인한 성능 향상이 여러 의미 유사도 벤치마크에서 통계적으로 유의미한가?
• RQ5 명시적 상호작용 모델링이 BERT의 암묵적 전역 주의를 보완하여 과적합이나 열악한 해법 없이 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• BERT에 명시적 쌍방향 단어 상호작용 모듈을 통합함으로써 STS-B, SICK, WikiQA, TrecQA의 네 가지 의미 유사도 작업 전반에서 일관된 성능 향상이 이루어졌다.
• 모든 데이터셋 평균 성능 향상은 0.9점이며, 일측 위클록슨 순위합 검정을 통해 통계적으로 유의미하다(p < 0.05).
• 문장 쌍의 공동 인코딩이 별도 인코딩보다 항상 우수하며, TrecQA에서는 성능 격차가 최대 14점에 이르렀다; 별도 인코딩은 일부 경우 열악한 해법을 유도했다.
• PWI 모듈에 BiLSTM을 포함시키는 것이 CNN 전용 아키텍처에 비해 통계적으로 유의미한 성능 향상을 가져오지 못했으며, 이는 성능 향상에 필수적이지 않음을 시사한다.
• 최고의 성능을 보인 구성(예: VDPWI와 공동 인코딩을 가진 BERT)은 모든 데이터셋에서 원본 BERT와 독립적인 VDPWI 모델보다 우수했으며, 명시적 상호작용과 사전학습된 표현의 조합에서 상호보완적 이점을 보여주었다.