[논문 리뷰] Story Ending Prediction by Transferable BERT

Zhongyang Li, Xiao Ding외 1명|arXiv (Cornell University)|2019. 05. 17.

Topic Modeling참고 문헌 22인용 수 11

한 줄 요약

이 논문은 자연어 추론(MNLI), 감성 분류, 다음 행동 예측과 같은 의미적으로 관련된 감독 학습 작업에서 미세조정을 통해 BERT를 개선하는 삼단계 전이 학습 프레임워크인 TransBERT를 제안한다. 이로 인해 SCT_v1.0에서 91.8%의 정확도와 SCT_v1.5에서 90.3%의 정확도를 기록하여, 다양한 작업에서의 전이 가능한 지식을 통해 모델 초기화를 향상시켜 새로운 최고 성능 기록을 달성한다.

ABSTRACT

Recent advances, such as GPT and BERT, have shown success in incorporating a pre-trained transformer language model and fine-tuning operation to improve downstream NLP systems. However, this framework still has some fundamental problems in effectively incorporating supervised knowledge from other related tasks. In this study, we investigate a transferable BERT (TransBERT) training framework, which can transfer not only general language knowledge from large-scale unlabeled data but also specific kinds of knowledge from various semantically related supervised tasks, for a target task. Particularly, we propose utilizing three kinds of transfer tasks, including natural language inference, sentiment classification, and next action prediction, to further train BERT based on a pre-trained model. This enables the model to get a better initialization for the target task. We take story ending prediction as the target task to conduct experiments. The final result, an accuracy of 91.8%, dramatically outperforms previous state-of-the-art baseline methods. Several comparative experiments give some helpful suggestions on how to select transfer tasks. Error analysis shows what are the strength and weakness of BERT-based models for story ending prediction.

연구 동기 및 목표

• 표준 사전 훈련 및 미세조정 방식이 단지 비감독적 언어 모델링에 의존하여 목표 작업에 최적의 초기화를 제공하지 못할 수 있는 한계를 해결하기 위해.
• 관련 작업에서의 감독 지식이 스토리 엔딩 예측(SCT) 성능 향상에 어떻게 효과적으로 전이될 수 있는지 조사하기 위해.
• 효과적인 전이 작업을 식별하고, 의미적 유사성과 성능 향상 여부를 바탕으로 그들을 선택하는 데 대한 지침을 제공하기 위해.
• 오류 분석을 통해 BERT 기반 모델이 스토리 이해에서 보이는 강점과 약점을 분석하기 위해.

제안 방법

• 삼단계 TransBERT 프레임워크 제안: (1) 대규모 비라벨 텍스트에서 BERT 사전 훈련, (2) 전이 학습을 통해 자연어 추론(MNLI), 감성 분류, 다음 행동 예측의 세 가지 감독 작업에서 추가 사전 훈련, (3) 목표 SCT 작업에서의 미세조정.
• SCT와 의미적으로 관련된 전이 작업 사용: MNLI는 함의/모순 추론을 위해, 감성 분류는 정서 상태 이해를 위해, 다음 행동 예측은 서사 이어가기 작업을 위해.
• 다중 작업 학습 전략을 적용하여 전이 작업을 동시에 사전 훈련함으로써, SCT에서의 미세조정 이전에 BERT 인코더에 지식 정제를 가능하게 한다.
• 최종 모델을 목표 작업에 맞게 최소한의 작업 특화 파rameter로 미세조정하여, 사전 훈련된 BERT 가중치를 유지하면서도 다중 선택 형식의 SCT에 적응한다.
• 각 전이 작업의 기여도를 평가하고 단일 작업 vs. 다중 작업 사전 훈련을 비교하기 위해 광범위한 추상화 연구를 수행한다.
• 오류 분석을 통해 실패 사례를 식별하고, 추론 및 일반 지식 이해 능력에서의 모델 행동을 평가한다.

실험 결과

연구 질문

• RQ1 여러 의미적으로 관련된 감독 학습 작업에서 지식을 전이함으로써, 표준 사전 훈련 및 미세조정 방식을 초월해 BERT의 스토리 엔딩 예측 성능을 향상시킬 수 있는가?
• RQ2 자연어 추론, 감성 분류, 다음 행동 예측 중 어떤 유형의 전이 작업이 스토리 엔딩 예측에 가장 유익한가?
• RQ3 여러 전이 작업에서 다중 작업 사전 훈련이 단일 작업 사전 훈련보다 더 높은 성능을 내는가?
• RQ4 BERT 기반 모델이 스토리 엔딩 예측에서 나타내는 주요 실패 유형은 무엇이며, 이는 추론 및 일반 지식 이해와 어떻게 관련이 있는가?

주요 결과

• MNLI를 통한 BERT 모델은 SCT_v1.0 벤치마크에서 91.8%의 정확도를 기록하여 이전 최고 성능 방법들을 크게 능가한다.
• 더 최근의 SCT_v1.5 블라인드 테스트 세트에서도 90.3%의 정확도를 기록하여 강력한 일반화 능력과 강인성을 입증한다.
• MNLI에서의 전이가 가장 높은 성능 향상을 가져오며, 그 다음으로 감성 분류, 다음 행동 예측 순으로 성능 향상이 나타나, 함의 추론이 SCT에 매우 관련성이 높다는 것을 시사한다.
• 세 전이 작업 모두에서 다중 작업 사전 훈련이 단일 작업 사전 훈련보다 추가적인 성능 향상을 가져오지 못하며, 이는 MNLI가 주요 기여 요소임을 시사한다.
• 오류 분석 결과, BERT 기반 모델은 장거리 의존성과 암묵적인 일반 지식 추론에서 어려움을 겪으며, 특히 정답 엔딩이 미묘한 정서적 또는 심리적 변화를 이해해야 할 경우에 취약함을 확인한다.
• 연구는 전이 작업 선택을 위한 실용적 지침을 제공한다: 작업은 목표 작업과 의미적으로 관련이 있어야 하며, 작업 형식이 다를지라도 근본적인 추론 패턴이 유사해야 한다.