[논문 리뷰] Pre-training Text-to-Text Transformers for Concept-centric Common Sense

Wangchunshu Zhou, Dong‐Ho Lee외 3명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 39인용 수 35

한 줄 요약

이 논문은 텍스트-투-텍스트 트랜스포머를 위한 개념 중심 사전 훈련 프레임워크를 제안하며, 생성적 및 대조적 목표를 통합하여 사전 훈련된 모델에 공통 지식을 명시적으로 통합한다. T5 기반 모델(CALM)을 이러한 중간 작업에 대해 미세 조정함으로써, 외부 지식 기반 시스템에 의존하지 않고도 다섯 개인공지 기준에서 일관되게 NLU 및 NLG 작업 모두에서 성능 향상을 이룬다.

ABSTRACT

Pretrained language models (PTLM) have achieved impressive results in a range of natural language understanding (NLU) and generation (NLG) tasks that require a syntactic and semantic understanding of the text. However, current pre-training objectives such as masked token prediction (for BERT-style PTLMs) and masked span infilling (for T5-style PTLMs) do not explicitly model the relational and compositional commonsense knowledge about everyday concepts, which is crucial to many downstream tasks requiring commonsense reasoning. To augment PTLMs with common sense, we propose generative and contrastive objectives as intermediate self-supervised pre-training tasks between general pre-training and downstream task-specific fine-tuning. We also propose a joint training framework to unify generative and contrastive objectives so that these objectives can be more effective. Our proposed objectives can pack more commonsense knowledge into the parameters of a pre-trained text-to-text transformer without relying on external knowledge bases, yielding better performance on both NLU and NLG tasks. We apply our method on a pre-trained T5 model in an intermediate task transfer learning fashion to train a concept-aware language model (CALM) and experiment with five commonsense benchmarks (four NLU tasks and one NLG task). Experimental results show that CALM outperforms baseline methods by a consistent margin.

연구 동기 및 목표

• 기존의 사전 훈련 목표가 일상 개념에 대한 관계적 및 복합적 공통 지식을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 텍스트-투-텍스트 트랜스포머에 공통 지식을 명시적으로 통합하는 중간 자기지도 사전 훈련 작업을 개발하기 위해.
• 더 효과적인 지식 패킹을 위해 생성적 및 대조적 목표를 통합된 훈련 프레임워크로 통합하기 위해.
• 외부 지식 기반 시스템 없이도 공통 지식 추론이 필요한 다운스트림 NLU 및 NLG 작업에서 성능 향상을 이루기 위해.
• 다섯 개인공지 기준에서의 광범위한 평가를 통해 개념 중심 사전 훈련의 효과성을 입증하기 위해.

제안 방법

• 일상 개념을 맥락 기반으로 예측하도록 훈련하는 생성적 목표를 제안하여 지식 통합 능력을 향상시킨다.
• 마스크된 맥락에서 올바른 및 잘못된 일상 개념을 구분하도록 유도하는 대조적 목표를 도입한다.
• 생성적 및 대조적 목표를 동시에 최적화하는 통합된 훈련 프레임워크를 설계하여 중간 사전 훈련 동안 적용한다.
• 전이 학습 설정에서 사전 훈련된 T5 모델에 이 방법을 적용하여 개념 인식 언어 모델(CALM)을 도출한다.
• 다운스트림 작업에 대한 미세 조정 이전에 이중 목표로 CALM을 사전 훈련하기 위해 정제된 공통 지식 예제 데이터셋을 사용한다.
• 기존 T5 스타일 모델 및 다운스트림 작업 파ip라인과의 호환성을 유지하기 위해 텍스트-투-텍스트 형식을 활용한다.

실험 결과

연구 질문

• RQ1 공동 생성 및 대조적 사전 훈련 목표가 사전 훈련된 텍스트-투-텍스트 트랜스포머에 공통 지식을 효과적으로 통합할 수 있는가?
• RQ2 제안된 방법은 표준 사전 훈련 목표와 비교해 공통 지식 추론 작업에서 성능을 어떻게 향상시키는가?
• RQ3 외부 지식 기반 시스템의 부재가 모델 성능에 어느 정도 영향을 미치며, 내부 지식 패킹만으로도 충분한가?
• RQ4 생성적 및 대조적 목표를 함께 최적화하는 것이 각각을 별도로 사용할 때보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 CALM은 NLU 및 NLG 작업을 포함한 다양한 공통 지식 기준에서 어떻게 성능을 발휘하는가?

주요 결과

• CALM은 다섯 개인공지 기준에서 모두 베이스라인 모델을 능가하며, NLU 및 NLG 작업 모두에서 일관된 성능 향상을 보였다.
• 생성적 및 대조적 목표의 공동 훈련은 각 목표를 별도로 사용할 때보다 더 나은 지식 통합을 이끌어냈다.
• 외부 지식 기반 시스템에 의존하지 않고도 성능 향상을 달성하여 내부 파rameterization 방식의 공통 지식 표현이 효과적임을 입증했다.
• 중간 사전 훈련을 통해 모델이 일상 개념에 대한 추론 능력을 향상시키는 데 성공했다.
• 결과는 개념 중심 사전 훈련이 텍스트-투-텍스트 트랜스포머의 추론 능력을 상당히 향상시킨다는 것을 시사한다.
• 특히 복합적 및 관계적 공통 지식 이해가 요구되는 작업에서 성능 향상이 두드러졌다.