[논문 리뷰] DisSent: Sentence Representation Learning from Explicit Discourse Relations

Allen Nie, Erin Bennett외 1명|arXiv (Cornell University)|2017. 10. 12.

Topic Modeling참고 문헌 33인용 수 59

한 줄 요약

DisSent는 문장 쌍 사이의 명시적 담화 표지(disourse markers)를 예측하여 문장 임베딩을 학습하고, BookCorpus에서 자동으로 큐레이션된 데이터와 의존 파싱을 이용해 BiLSTM 인코더를 학습시키고 BERT를 미세조정하여 강력한 전달 성능과 PDTB 암시적 관계 예측에서 최첨단 결과를 달성합니다.

ABSTRACT

Learning effective representations of sentences is one of the core missions of natural language understanding. Existing models either train on a vast amount of text, or require costly, manually curated sentence relation datasets. We show that with dependency parsing and rule-based rubrics, we can curate a high quality sentence relation task by leveraging explicit discourse relations. We show that our curated dataset provides an excellent signal for learning vector representations of sentence meaning, representing relations that can only be determined when the meanings of two sentences are combined. We demonstrate that the automatically curated corpus allows a bidirectional LSTM sentence encoder to yield high quality sentence embeddings and can serve as a supervised fine-tuning dataset for larger models such as BERT. Our fixed sentence embeddings achieve high performance on a variety of transfer tasks, including SentEval, and we achieve state-of-the-art results on Penn Discourse Treebank's implicit relation prediction task.

연구 동기 및 목표

• 구조화된 의미 신호로서 명시적 담화 관계를 통해 범용 문장 표현 학습의 동기를 부여한다.
• 의존성 파싱을 통해 명시적 담화 표지로 연결된 문장 쌍의 크고 고품질 데이터 세트를 자동으로 큐레이션한다.
• 담화 표지 예측을 지원하는 임베딩을 생성하도록 문장 인코더를 학습시켜 의미 인지 표현을 촉진한다.
• DisSent 작업에 대해 더 큰 모델(예: BERT)을 미세 조정하여 다운스트림 담화 분류 작업의 성능을 향상시킨다.
• SentEval 및 PDTB 과제에서 임베딩을 평가하여 최첨단 감독 및 비감독 방법과 비교한다.

제안 방법

• 고정 크기 문장 벡터를 만들기 위해 시간적 최대 풀링을 갖춘 BiLSTM 문장 인코더를 적용한다.
• 문장 임베딩 간의 차(빼기), 곱셈, 평균을 이용한 쌍 간 상호작용을 계산하고 이를 문장 임베딩과 함께 연결(concatenate)한다.
• 결합된 특징을 완전 연결 계층으로 투사하여 소프트맥스(softmax)를 통해 담화 표지를 예측한다.
• 사전에 정의된 의존성 패턴을 사용하는 의존 파서 기반 파이프라인을 통해 명시적 담화 표지로 연결된 문장 쌍을 자동으로 추출한다.
• DisSent 작업에서 BERT-base를 미세 조정하되 문장 쌍에 대해 [CLS] 표현을 사용하고 다운스트림 작업에서 평가한다.
• 일반화 및 데이터 규모 영향 평가를 위해 여러 담화 표지 부분집합(ALL, Books 5, Books 8)을 탐색한다.

실험 결과

연구 질문

• RQ1 자동화된 담화 표지 예측이 전이 가능한 문장 임베딩 학습에 강력한 감독 신호를 제공할 수 있는가?
• RQ2 표준 평가 벤치마크에서 DisSent 임베딩이 기존의 감독된 및 비감독 문장 표현과 어떻게 비교되는가?
• RQ3 DisSent 데이터에 대해 대형 사전학습 모델(BERT 등)을 미세조정하면 담화 관련 분류 작업에서 성능이 향상되는가?
• RQ4 다양한 담화 표지 세트를 사용하는 것이 표현의 품질과 일반화에 미치는 영향은 무엇인가?
• RQ5 명시적 담화 관계 감독이 암시적 관계 및 기타 학습 신호와 비교해도 경쟁력이 있거나 상호 보완적인가?

주요 결과

• DisSent 임베딩은 고품질 문장 표현을 가능하게 하며 고정 임베딩으로 사용할 때 SentEval에서 높은 성능을 발휘한다.
• DisSent에서 BERT를 미세조정하면 다른 미세조정 전략과 비교할 때 PDTB 암시적 관계 예측에서 최첨단 결과를 얻는다.
• DisSent로 학습된 모델은 InferSent와 SkipThought를 여러 일반화 작업에서 능가하며, 특히 TREC(질문 유형 분류) 및 암시적 관계 작업에서 우수하다.
• DisSent를 학습에 활용하면 일부 기존의 감독 학습 방식에 비해 데이터 수집 및 학습 속도 측면 이점을 제공하면서도 일반화 성능은 경쟁력이 있다.
• 훈련 과제로서 담화 표지 예측은 문장 간 연결 의미를 포착하는 유용한 감독 정보를 제공하여 대규모 수작업 주석에 의존하지 않고도 효과적인 다운스트림 분류를 가능하게 한다.