[논문 리뷰] Coreferential Reasoning Learning for Language Representation

Deming Ye, Yankai Lin외 5명|arXiv (Cornell University)|2020. 04. 15.

Topic Modeling참고 문헌 79인용 수 19

한 줄 요약

이 논문은 언어 표현 모델인 CorefBERT를 제안하며, 반복적으로 나타나는 언급어를 마스킹하고 그 참조어를 문맥에서 예측하도록 하는 새로운 사전학습 작업인 언급어 참조 예측(Mention Reference Prediction, MRP)을 도입하여 공현적 추론 능력을 향상시킨다. CorefBERT는 일반적인 NLP 벤치마크에서 경쟁력 있는 성능을 유지하면서도 핵심 공현 관계에 의존하는 NLP 과제에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Language representation models such as BERT could effectively capture contextual semantic information from plain text, and have been proved to achieve promising results in lots of downstream NLP tasks with appropriate fine-tuning. However, most existing language representation models cannot explicitly handle coreference, which is essential to the coherent understanding of the whole discourse. To address this issue, we present CorefBERT, a novel language representation model that can capture the coreferential relations in context. The experimental results show that, compared with existing baseline models, CorefBERT can achieve significant improvements consistently on various downstream NLP tasks that require coreferential reasoning, while maintaining comparable performance to previous models on other common NLP tasks. The source code and experiment details of this paper can be obtained from https://github.com/thunlp/CorefBERT.

연구 동기 및 목표

• 기존 언어 모델이 문장 경계를 초월한 장거리 공현 관계를 처리하는 데에 한계가 있다는 문제를 해결하기 위해.
• 대규모 감독형 공현 데이터셋에 의존하지 않고도 사전학습 모델의 공현적 추론 능력을 향상시키기 위해.
• 대규모 비감독 텍스트에서 공현 관계를 명시적으로 포착할 수 있는 자기지도 사전학습 목표를 개발하기 위해.
• 핵심 공현 해석 능력을 향상시키면서도 일반 NLP 과제에서 강력한 성능을 유지하기 위해.
• 복사 기반 학습 목표가 공현에 특화된 표현 학습을 향상시키는 데 기여하는지 탐색하기 위해.

제안 방법

• 문장 내 반복적인 언급어를 마스킹하고 모델이 문맥에서 정확한 참조어를 예측하도록 하는 새로운 사전학습 작업인 언급어 참조 예측(MRP)을 도입한다.
• 모델이 전체 어휘에서가 아니라 문맥에서 직접 단어를 선택하도록 유도하는 복사 기반 학습 목표를 적용하여 문맥에 민감한 표현을 촉진한다.
• 표준 마스킹 언어 모델링(MLM)과 MRP를 결합하여 국소적 문맥 이해와 장거리 공현 이해를 동시에 최적화한다.
• BERT와 유사한 다층 양방향 트랜스포머 아키텍처를 사용하며, 복사 기반 목표 도입으로 인한 파라미터 증가가 최소한이 된다.
• 업스트림 과제에 대해 표준 미세조정 절차를 사용하고, 과제에 맞는 헤드 레이어를 추가하여 모델을 미세조정한다.
• 미세조정 과정에서 공현 해석을 위해 최대 마진 손실을 사용하여 올바른 언급어-참조어 정렬을 최적화한다.

실험 결과

연구 질문

• RQ1 공현 관계를 명시적으로 모델링하는 자기지도 사전학습 목표가 논의 수준의 추론이 필요한 업스트림 NLP 과제에서 성능 향상에 기여하는가?
• RQ2 복사 기반 목표를 통합하면 공현 해석을 위한 문맥에 민감한 표현 학습 능력이 향상되는가?
• RQ3 감독형 공현 주석 없이 대규모 비감독 텍스트에서 공현적 추론을 효과적으로 학습할 수 있는가?
• RQ4 공현 능력을 향상시키는 것이 GLUE와 같은 일반 NLP 과제에서의 성능을 떨어뜨리는가?
• RQ5 표준 MLM과 비교했을 때 제안된 MRP 사전학습 작업이 장거리 의존성 모델링 향상에 얼마나 기여하는가?

주요 결과

• CorefBERT는 MRQA에서 43.40 F1, DocRED에서 180.65 F1를 기록하여 베이직 BERT와 RoBERTa를 뛰어넘는 뚜렷한 성능 향상을 이룬다.
• QUOREF와 FEVER 벤치마크에서 CorefBERT ${}_{\textsc{large}}$는 각각 13.23과 18.88 F1를 기록하여 추출형 질문 응답 및 사실 검증 과제에서 일관된 성능 향상을 보였다.
• GLUE 벤치마크에서 CorefBERT는 일반 NLP 과제에서 BERT와 유사한 성능을 유지하며, 9.22 F1를 기록하여 일반 언어 이해 능력에 변화가 없음을 시사한다.
• 모델의 추론 시간은 BERT와 RoBERTa와 유사하며, CorefBERT ${}_{\textsc{large}}$는 RTX 2080ti GPU에서 예측 당 약 18.88 ms가 소요되어 최소한의 계산 오버헤드를 보였다.
• 제거 실험 결과, 학습 데이터를 사전처리하는 데 공현 해석 도구를 사용한 경우 BERT보다 성능 향상이 있었지만, 전체 CorefBERT에 못 미치는 것으로 나타나 약한 감독에서 노이즈 처리 방식 개선이 필요함을 시사한다.
• 최적의 미세조정 하이퍼파라미터로는 기본 학습률 $3 \times 10^{-5}$, $\alpha = 10$, $\beta = 0.2$ 가 확인되었으며, 이는 최대 마진 손실의 효과성을 확인한다.