[논문 리뷰] Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models

Dan Iter, Kelvin Guu외 2명|arXiv (Cornell University)|2020. 05. 20.

Topic Modeling참고 문헌 18인용 수 5

한 줄 요약

이 논문은 기존 임베딩 기반의 문장 수준 사전 훈련 목표인 Conpono를 소개한다. 이는 주어진 기준 문장에서 k개 위치 떨어진 문장을 예측하여 트랜스포머 기반 언어 모델의 논리적 구조 표현을 향상시키는 것이다. Conpono는 DiscoEval 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 일부 과제에서 최대 13%p의 절대적 향상을 보였고, 파arameter 수가 BERT-Base 수준인 데도 불구하고 BERT-Large의 성능을 재현하였다. 또한 RTE, COPA, ReCoRD와 같은 비논리적 과제들에서도 성능 향상을 보였다.

ABSTRACT

Recent models for unsupervised representation learning of text have employed a number of techniques to improve contextual word representations but have put little focus on discourse-level representations. We propose CONPONO, an inter-sentence objective for pretraining language models that models discourse coherence and the distance between sentences. Given an anchor sentence, our model is trained to predict the text k sentences away using a sampled-softmax objective where the candidates consist of neighboring sentences and sentences randomly sampled from the corpus. On the discourse representation benchmark DiscoEval, our model improves over the previous state-of-the-art by up to 13% and on average 4% absolute across 7 tasks. Our model is the same size as BERT-Base, but outperforms the much larger BERT- Large model and other more recent approaches that incorporate discourse. We also show that CONPONO yields gains of 2%-6% absolute even for tasks that do not explicitly evaluate discourse: textual entailment (RTE), common sense reasoning (COPA) and reading comprehension (ReCoRD).

연구 동기 및 목표

• 문장 간 순서, 일관성, 거리에 중점을 둔 새로운 문장 간 목표를 도입하여 사전 훈련된 언어 모델의 논리적 수준 표현을 향상시키는 것.
• 논리적 요소가 자연어 이해에서 중요시되는데도 불구하고 기존 사전 훈련 목표에서 논리적 요소에 대한 집중이 부족한 문제를 해결하는 것.
• 대조적이고 양방향 문장 예측 목표가 논리적 전용 및 일반적인 NLP 과제 모두에서 성능 향상을 이끌 수 있음을 보여주는 것.
• 논리적 인지 사전 훈련이 논리적 평가가 명시적으로 이루어지지 않은 과제, 예를 들어 텍스트 함의와 독해력 테스트 등에서도 성능 향상을 이끌 수 있음을 보여주는 것.

제안 방법

• 모델은 기준 문장과 양방향으로 k개 거리 떨어진 타겟 문장을 함께 인코딩하기 위해 트랜스포머 인코더를 사용한다.
• 기준 문장을 기반으로, 올바른 타겟 문장을 부정 예측 후보들과 대비시켜 비교하는 샘플드-소프트맥스 목표를 사용하여 k 거리의 타겟 문장을 예측한다.
• 부정 예측 후보로는 동일한 문단의 인접한 문장들(어려운 부정 예측)과 코퍼스에서 무작위로 선택한 문장들(간단한 부정 예측)이 포함된다.
• 이 목표는 대조적 예측 코드(CPC)에서 영감을 받았지만 문장 수준에서 작동하며, 기준 문장과 타겟 문장 간의 교차 attention을 통해 표현 학습을 향상시킨다.
• 로컬 단어 수준 표현을 유지하기 위해 제안된 Conpono 목표와 표준 마스킹 언어 모델링(MLM) 목표의 조합을 통해 모델을 사전 훈련한다.
• 최종 모델는 BERT-Base와 동일한 아키텍처와 파라미터 수를 사용하여 BERT-Large와의 직접 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 대조적 문장 수준 목표가 사전 훈련된 언어 모델의 논리적 표현을 향상시킬 수 있는가?
• RQ2 k-거리 예측 과제를 통해 문장 순서와 일관성을 학습하면 논리적 전용 벤치마크에서 성능 향상이 이루어지는가?
• RQ3 논리적 인지 사전 훈련이 텍스트 함의나 독해력 테스트와 같은 비논리적 과제에서도 성능 향상을 이끌 수 있는가?
• RQ4 기준 문장과 타겟 문장 간의 교차 attention이 표현 품질에 어떤 영향을 미치는가?
• RQ5 Conpono의 성능 향상 요인이 목표 자체인지, 창문 크기나 보조 MLM 훈련과 같은 아키텍처 선택 때문인가?

주요 결과

• Conpono는 DiscoEval 벤치마크에서 새로운 최신 기술 수준 성능을 달성하였으며, 개별 과제에서 최대 13%p의 절대적 향상을 보였고, 전체 일곱 과제 평균으로 4%p 향상되었다.
• BERT-Base의 파라미터 수만을 사용하면서도 BERT-Large를 능가하는 성능을 보였으며, 이는 모델 크기를 늘리지 않아도 논리적 사전 훈련이 상당한 성능 향상을 이끌 수 있음을 보여준다.
• RTE, COPA, ReCoRD 등 비논리적 과제에서 각각 2%-6%p의 절대적 성능 향상을 보였으며, 이는 논리적 평가 외부 과제에도 널리 적용 가능한 이점이 있음을 시사한다.
• 제거 실험 결과, 기준 문장과 타겟 문장 간의 교차 attention이 성능 향상의 핵심 요소임을 확인하였고, 창문 크기가 2 이상일 경우 더 좋은 성능을 기록하였다.
• DiscoEval 내의 문장 순서 정렬 과제에서 모델가 가장 뛰어난 성능을 보였으며, 이는 상대적 문장 위치와 일관성을 효과적으로 학습했음을 시사한다.
• Conpono와 마스킹 언어 모델링 목표의 조합은 각각을 별도로 사용할 때보다 더 강력한 표현을 만들어내었다.