[논문 리뷰] Semantics-aware BERT for Language Understanding

Zhuosheng Zhang, Yuwei Wu외 5명|arXiv (Cornell University)|2019. 09. 05.

Topic Modeling참고 문헌 31인용 수 25

한 줄 요약

이 논문은 문맥적 의미를 고려한 BERT 모델인 SemBERT를 제안한다. SemBERT는 BERT 프레임워크에 구조화된 의미 역할 레이블링(SRL) 신호를 명시적으로 통합하여 언어 표현을 향상시킨다. 경량이며 미세조정에 적합한 아키텍처를 통해 SRL 레이블링된 동사-논항 구조를 BERT의 문맥 임베딩과 융합함으로써, SemBERT는 11개의 NLU 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, SNLI에서 새로운 SOTA를 기록하고 GLUE 및 SQuAD 2.0에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

The latest work on language representations carefully integrates contextualized features into language model training, which enables a series of success especially in various machine reading comprehension and natural language inference tasks. However, the existing language representation models including ELMo, GPT and BERT only exploit plain context-sensitive features such as character or word embeddings. They rarely consider incorporating structured semantic information which can provide rich semantics for language representation. To promote natural language understanding, we propose to incorporate explicit contextual semantics from pre-trained semantic role labeling, and introduce an improved language representation model, Semantics-aware BERT (SemBERT), which is capable of explicitly absorbing contextual semantics over a BERT backbone. SemBERT keeps the convenient usability of its BERT precursor in a light fine-tuning way without substantial task-specific modifications. Compared with BERT, semantics-aware BERT is as simple in concept but more powerful. It obtains new state-of-the-art or substantially improves results on ten reading comprehension and language inference tasks.

연구 동기 및 목표

• 기존의 사전 학습된 언어 모델이 순수한 단어 및 문자 임베딩을 초월해 rich하고 명시적인 문맥적 의미를 포착하는 데에 한계가 있음을 해결하기 위해.
• 특히 사전 학습된 의미 역할 레이블링에서 유래한 구조화된 의미 정보를 통합함으로써, 자연어 이해를 위한 깊이 있는 문맥 표현을 향상시킬 수 있는지 탐구하기 위해.
• 특정 작업에 맞게 아키텍처를 수정하지 않고도 단순하면서도 효과적인 방법을 개발하여 BERT의 사용성을 유지하기 위해.
• 명시적인 의미 정보가 질문 응답 및 자연어 추론과 같은 후행 NLU 작업에서 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 사용 가능한 사전 학습된 의미 역할 레이블러를 활용하여 입력 문장을 동사-논항 구조로 레이블링한다.
• 원시 텍스트와 SRL 레이블을 병렬로 처리하여 BERT의 백본을 통해 두 모odal의 문맥 임베딩을 생성한다.
• BERT의 히든 상태와 SRL 기반 의미 임베딩을 연결하여 통합 표현을 형성하는 의미 통합 컴포넌트를 적용한다.
• 모델을 후행 작업에 적응시키기 위해 경량이며 종단 간(end-to-end) 미세조정 전략을 적용하며, 주요 아키텍처 변경 없이 진행한다.
• 스팬 기반 SRL 레이블링을 활용하여 더 나은 스판 분할을 유도하고, 스판 추출 작업의 예측 정확도를 향상시킨다.
• SRL을 구조화된 외부 지식의 형태로 간주하여, BERT의 표현에 명시적인 의미 역할(예: 누가 무엇을 누구한테 했는가)을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 의미 역할 레이블링에서 유도된 명시적인 문맥적 의미가 자연어 이해 작업에서 사전 학습된 언어 모델의 성능을 향상시킬 수 있는가?
• RQ2 구조화된 의미 신호 통합이 질문 응답에서 의미적으로 완전한 답변을 포착하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ3 실제 환경에서 노이즈가 있거나 부정확한 SRL 예측이 있을 경우, 모델의 성능은 어느 정도 강인한가?
• RQ4 의미 인식 컴포넌트를 추가함으로써, 표준 BERT보다 더 해석 가능하고 의미적으로 일관된 예측을 도출할 수 있는가?

주요 결과

• SemBERT는 SNLI 자연어 추론 벤치마크에서 기존 방법을 능가하는 새로운 SOTA 성능을 달성하였다.
• GLUE 벤치마크에서 SemBERT는 BERT를 상회하는 상당한 향상을 기록하였으며, 다양한 NLU 작업 전반에 걸쳐 광범위한 성능 향상을 보였다.
• SQuAD 2.0에서 SemBERT는 F1 87.02와 EM 83.69를 기록하였으며, 아블레이션 연구 결과 SRL 통합이 더 의미적으로 완전한 답변을 유도하는 것으로 나타났다.
• 모델는 노이즈가 있는 SRL 예측에도 강건하여, 레이블의 40%가 무작위로 손상된 경우에도 F1 87.24를 유지하며 높은 성능을 기록했다.
• 아블레이션 연구 결과, 의미의 명시적 통합이 필수적임을 확인하였으며, 이를 생략한 모델는 상당히 낮은 성능을 보였다.
• BERT의 히든 상태와 SRL 임베딩의 연결이 일관된 향상을 이끌어내어, 일반적인 표현과 의미 표현 간의 효과적인 융합이 이루어졌음을 시사한다.