[논문 리뷰] Symmetric Regularization based BERT for Pair-wise Semantic Reasoning

Weidi Xu, Xingyi Cheng외 8명|arXiv (Cornell University)|2019. 09. 08.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 다음 문장 예측(NSP) 작업을 3개 클래스 분류 문제로 확장하여 이전 문장 예측(PSP) 헤드를 포함함으로써 BERT의 쌍문장 의미적 추론 능력을 향상시키는 대칭 정규화 방법인 SymBERT를 제안한다. NSP와 PSP 간의 대칭성을 강제함으로써 모델은 더 견고하고 순서에 민감하지 않은 표현을 학습하게 되어, NLI 및 MRC 벤치마크에서 일관된 성능 향상을 이끌어내며, HANS에서 최고 성능(SOTA)을 기록하고 중국어 NLP 작업에서도 경쟁적인 성과를 내었다.

ABSTRACT

The ability of semantic reasoning over the sentence pair is essential for many natural language understanding tasks, e.g., natural language inference and machine reading comprehension. A recent significant improvement in these tasks comes from BERT. As reported, the next sentence prediction (NSP) in BERT, which learns the contextual relationship between two sentences, is of great significance for downstream problems with sentence-pair input. Despite the effectiveness of NSP, we suggest that NSP still lacks the essential signal to distinguish between entailment and shallow correlation. To remedy this, we propose to augment the NSP task to a 3-class categorization task, which includes a category for previous sentence prediction (PSP). The involvement of PSP encourages the model to focus on the informative semantics to determine the sentence order, thereby improves the ability of semantic understanding. This simple modification yields remarkable improvement against vanilla BERT. To further incorporate the document-level information, the scope of NSP and PSP is expanded into a broader range, i.e., NSP and PSP also include close but nonsuccessive sentences, the noise of which is mitigated by the label-smoothing technique. Both qualitative and quantitative experimental results demonstrate the effectiveness of the proposed method. Our method consistently improves the performance on the NLI and MRC benchmarks, including the challenging HANS dataset \cite{hans}, suggesting that the document-level task is still promising for the pre-training.

연구 동기 및 목표

• 문장 쌍 간의 의미적 함의와 얕은 상관관계를 구분하는 데에 BERT의 NSP 작업의 한계를 해결하기 위해.
• 하류 작업에서 문장 순서에 민감한 BERT의 민감도를 줄이기 위해 대칭 학습 신호를 도입하기 위해.
• NSP와 PSP를 연속하지 않은 문장 쌍으로 확장하여 문서 수준의 표현 학습을 향상시키기 위해.
• 영어 및 중국어 의미적 추론 벤치마크에서 대칭 정규화의 효과를 평가하기 위해.
• 단순한 아키텍처 수정이 모델 크기나 훈련 데이터를 늘리지 않아도 상당한 성능 향상을 이끌 수 있음을 보여주기 위해.

제안 방법

• IsNext(NSP), IsPrev(PSP), 그리고 음성 클래스를 포함하는 3개 클래스 분류 헤드를 제안하며, 여기서 IsPrev는 IsNext의 대칭적 대응이다.
• 문장이 문서 내에서 다음 문장인지 또는 이전 문장인지 예측하도록 모델을 훈련시켜 깊은 의미적 관계를 학습하도록 유도한다.
• NSP와 PSP의 범위를 연속적인 문장 쌍을 넘어서 비연속적인 문장 쌍으로 확장하여 문서 수준의 맥락을 풍부하게 한다.
• 훈련 중 먼 거리의 문장 쌍에서 발생할 수 있는 노이즈를 줄이기 위해 레이블 스무딩을 적용한다.
• 동일한 BERT-base 아키텍처를 사용하지만, 대칭 감독 신호를 포함하도록 사전 훈련 목표를 수정한다.
• 단일 언어 및 다국어 코퍼스(중국어 텍스트 포함)에서 모델을 사전 훈련하고, 하류 NLI 및 MRC 작업에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 대칭 예측 헤드(PSP)를 도입함으로써 BERT가 문장 쌍 간의 함의와 상관관계를 더 잘 구분할 수 있는가?
• RQ2 대칭 정규화가 하류 작업에서 문장 순서에 대한 모델의 민감도를 줄이는가?
• RQ3 NSP와 PSP를 비연속적인 문장 쌍으로 확장함으로써 노이즈를 유발하지 않고 문서 수준 이해를 향상시킬 수 있는가?
• RQ4 HANS와 같이 히وري스틱한 단서를 테스트하는 도전적인 벤치마크에서 제안된 방법의 성능은 어떠한가?
• RQ5 이 방법은 중국어 NLP 작업과 같이 자원이 적거나 다국어 환경에서 얼마나 일반화되는가?

주요 결과

• 제안된 SymBERT 모델은 베이직 BERT 대비 QNLI 벤치마크에서 3.5%p의 절대적 성능 향상을 기록하여 의미적 추론 능력 향상을 입증하였다.
• HANS 벤치마크에서 SymBERT는 BERT 및 기타 베이스라인을 압도하여 히وري스틱 패턴에 대한 의존도가 감소한 것으로 나타났다.
• 중국어 NLP 작업에서 SymBERT는 경쟁적인 성과를 기록하였으며, CMRC-2018과 DRCD에서 ERNIE 2.0을 맞추거나 능가했고, 더 적은 목적함수와 훈련 데이터를 사용하였다.
• 레이블 스무딩을 적용한 모델(SymBERT-PNsmth)은 DRCD에서 최고 성능을 기록하였으며(F1: 92.6, EM: 86.6), 노이즈 완화의 효과를 입증하였다.
• 이 방법은 영어 및 중국어 모두의 벤치마크에서 일관되게 성능 향상을 이끌어내어 일반화 능력을 확인시켰다.
• 제거 실험 결과, 성능 향상의 핵심 요인은 단순히 더 많은 훈련 신호를 포함하는 것이 아니라 PSP를 통한 대칭 정규화임을 확인하였다.