[논문 리뷰] BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching

Ehsan Tavan, Ali Rahmati외 3명|arXiv (Cornell University)|2021. 11. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 처리에서 문장 매칭 성능을 햖थ기 위해 BERT에 잔차 연결이 있는 3개의 양방향 LSTM 레이어와 주의 메커니즘을 추가한 깊이 있는 재귀 인코더 아키텍처인 BERT-DRE을 제안한다. 이 모델은 SNLI, MultiNLI, FarsTail, SciTail 및 새로운 파arsi 종교 질문 데이터셋을 포함한 여러 벤치마크에서 최고 성능을 기록하며, 특히 새로운 파arsi 종교 질문 데이터셋에서 90.29%의 정확도를 달성하여 표준 BERT보다 0.59% 높은 성능을 보였다.

ABSTRACT

This paper presents a deep neural architecture, for Natural Language Sentence Matching (NLSM) by adding a deep recursive encoder to BERT so called BERT with Deep Recursive Encoder (BERT-DRE). Our analysis of model behavior shows that BERT still does not capture the full complexity of text, so a deep recursive encoder is applied on top of BERT. Three Bi-LSTM layers with residual connection are used to design a recursive encoder and an attention module is used on top of this encoder. To obtain the final vector, a pooling layer consisting of average and maximum pooling is used. We experiment our model on four benchmarks, SNLI, FarsTail, MultiNLI, SciTail, and a novel Persian religious questions dataset. This paper focuses on improving the BERT results in the NLSM task. In this regard, comparisons between BERT-DRE and BERT are conducted, and it is shown that in all cases, BERT-DRE outperforms BERT. The BERT algorithm on the religious dataset achieved an accuracy of 89.70%, and BERT-DRE architectures improved to 90.29% using the same dataset.

연구 동기 및 목표

• 복잡한 의미 관계를 포착하는 데에 한계가 있는 BERT의 성능을 향상시키기 위해 자연어 문장 매칭(NLSM) 작업에서의 성능을 향상시키는 것.
• 문장의 구조를 계층적으로 모델링함으로써 BERT의 문맥적 표현을 향상시키는 깊이 있는 재귀 인코더를 설계하는 것.
• 실제 적용 가능성을 위해 다국어 벤치마크와 새로 수집한 파arsi 종교 질문 데이터셋에 모델을 평가하는 것.
• 잔차 연결, LSTM 레이어 수, LSTM 유닛 수와 같은 아키텍처 구성 요소의 영향을 분석하기 위해 추론 실험을 수행하는 것.
• 질문-답변 및 함의 작업을 포함한 저자원 및 고자원 NLP 작업 전반에 걸쳐 모델의 일반화 가능성을 입증하는 것.

제안 방법

• 입력 문장 쌍에 대한 풍부한 초기 표현을 제공하기 위해 BERT를 문맥 임베딩 레이어로 통합한다.
• 잔차 연결이 있는 3개의 스택된 양방향 LSTM 레이어로 구성된 깊이 있는 재귀 인코더를 적용하여 장거리 의존성과 계층적 의미를 모델링한다.
• LSTM 출력 위에 주의 메커니즘을 적용하여 중요한 단어를 동적으로 가중치를 부여하고 의미 표현의 품질을 향상시킨다.
• 평균 풀링과 최대 풀링을 결합한 풀링 레이어를 사용하여 강력하고 불변적인 문장 수준의 표현을 생성한다.
• 교차 엔트로피 손실을 사용하여 최종 모델을 종단 간(end-to-end)으로 미세 조정하여 후행 NLSM 작업에 적용한다.
• 잔차 연결, LSTM 레이어 수, LSTM 유닛 수의 기여도를 평가하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 잔차 연결이 있는 깊이 있는 재귀 인코더가 문장 매칭 작업에서 BERT의 성능을 향상시킬 수 있는가?
• RQ2 LSTM 레이어 수와 은닉 유닛 수가 다양한 NLSM 벤치마크에서 모델 성능에 미치는 영향은 어떠한가?
• RQ3 잔차 연결이 재귀 인코더 모듈의 학습 안정성과 성능에 미치는 영향은 무엇인가?
• RQ4 새로 수집한 파arsi 종교 질문 데이터셋을 통해 BERT-DRE이 저자원 언어에 효과적으로 일반화되는가?
• RQ5 표준 NLSM 벤치마크에서 MT-DNN 및 BERT-wwm과 같은 다른 최고 성능 모델과 비교해 BERT-DRE은 어떻게 성능을 내는가?

주요 결과

• BERT-DRE는 새로운 파arsi 종교 질문 데이터셋에서 90.29%의 정확도를 기록하여 표준 BERT의 89.70%를 초월했다.
• MultiNLI 벤치마크에서 BERT-DRE는 테스트 세트에서 87.34%의 F1 스코어를 기록하여 BERT의 85.9%를 뛰어넘었으며, 여러 최고 성능 모델을 능가했다.
• 추론 실험 결과, 각 레이어당 128개의 유닛을 가진 3개의 양방향 LSTM 레이어와 잔차 연결 조합이 모든 데이터셋에서 최적의 성능을 내는 것으로 나타났다.
• 잔차 연결을 제거하면 성능이 크게 떨어지며, 이는 깊이 있는 재귀 네트워크 학습에서 잔차 연결의 핵심적인 역할을 확인한다.
• SNLI, FarsTail, MultiNLI, SciTail의 네 개의 모든 벤치마크 데이터셋에서 BERT-DRE는 BERT보다 일관되게 향상된 성능을 보였다.
• 주의 메커니즘과 풀링 레이어는 특히 파라프라제이션 및 함의 작업에서 의미 유사성 처리에 있어 더 강력하고 정보량이 풍부한 문장 표현을 제공한다.