[논문 리뷰] Language Model Pre-training for Hierarchical Document Representations

Ming‐Wei Chang, Kristina Toutanova외 2명|arXiv (Cornell University)|2019. 01. 26.

Topic Modeling참고 문헌 8인용 수 18

한 줄 요약

이 논문은 문서 수준 자연어 처리 작업에서 성능을 햖थ기 위해 전체 문서의 문맥 정보를 통합하는 계층적 문서 표현을 위한 새로운 사전 훈련 방법을 제안한다. 마스킹 언어 모델링과 양방향 시퀀스 모델링을 사용하여 성능을 향상시킨다. 실험 결과 문서 분할, 질의 응답, 추출적 요약 등에서 뚜렷한 성능 향상을 보였으며, TriviaQA에서 최대 6%의 절대적 향상과 강력한 성능을 기록했고, 강화 학습을 사용하지 않았다.

ABSTRACT

Hierarchical neural architectures are often used to capture long-distance dependencies and have been applied to many document-level tasks such as summarization, document segmentation, and sentiment analysis. However, effective usage of such a large context can be difficult to learn, especially in the case where there is limited labeled data available. Building on the recent success of language model pretraining methods for learning flat representations of text, we propose algorithms for pre-training hierarchical document representations from unlabeled data. Unlike prior work, which has focused on pre-training contextual token representations or context-independent {sentence/paragraph} representations, our hierarchical document representations include fixed-length sentence/paragraph representations which integrate contextual information from the entire documents. Experiments on document segmentation, document-level question answering, and extractive document summarization demonstrate the effectiveness of the proposed pre-training algorithms.

연구 동기 및 목표

• 큰 규모의 비라벨 텍스트를 활용하여 라벨이 부족한 상황에서도 효과적인 계층적 문서 표현을 학습하는 데 도전한다.
• 기존의 사전 훈련 방법이 국소적 문맥이나 단방향 표현에만 집중하는 한계를 극복한다.
• 새로운 사전 훈련 목표를 통해 계층적 문서 모델에서 장거리 문맥 정보를 이원적으로 융합할 수 있도록 한다.
• 하위 작업에 대한 사전 훈련이 지역적(문장 수준) 및 전반적(문서 수준) 계층 표현의 영향을 평가한다.
• 사전 훈련된 높은 수준의 문서 표현이 낮은 수준의 표현만 사전 훈련하는 것보다 더 큰 성능 향상을 가져온다는 것을 입증한다.

제안 방법

• 문장 내에서 문맥화된 단어 수준 표현과 전체 문서 내에서 문맥화된 문장 수준 표현을 갖는 두 수준의 계층적 신경망 아키텍처를 제안한다.
• 기존의 ELMo 방식을 문서 수준 문맥으로 확장하여 왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로의 언어 모델링 방법을 도입해 단방향 계층적 표현을 사전 훈련한다.
• 계층적 표현에 특화된 마스킹 언어 모델링 목표를 개발하여 이원적 문서 수준 문맥의 효율적인 사전 훈련을 가능하게 한다.
• 두 단계 훈련 과정을 사용한다: 먼저 제안된 목표를 사용해 대규모 비라벨 문서에서 계층적 모델을 사전 훈련하고, 이후 작업 전용 라벨 데이터에서 경량 작업 네트워크로 미세 조정한다.
• 사전 훈련된 표현을 고정된 특징으로 사용하거나 하위 작업인 문서 분할, 파assage 검색, 추출적 요약 등에서 전체 모델을 미세 조정한다.
• ROUGE 점수와 파assage 검색 정확도를 사용해 성능을 평가하며, ELMo 및 스킵-스토리트 벡터와 같은 강력한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 텍스트에서 계층적 문서 표현을 사전 훈련하면 문서 수준 자연어 처리 작업에서 성능 향상이 이루어지는가?
• RQ2 높은 수준(문서 수준) 표현만 사전 훈련하는 것보다 낮은 수준(문장 수준) 표현만 사전 훈련하는 것보다 더 큰 성능 향상이 이루어지는가?
• RQ3 계층적 표현에서 이원적 문맥 통합이 단방향 또는 고립된 문장 표현과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 계층적 표현은 작업 전용 미세 조정이나 강화 학습 없이도 ELMo 및 스킵-스토리트 벡터와 같은 강력한 베이스라인을 능가할 수 있는가?
• RQ5 추출적 요약 및 질의 응답에서 지역적(문장 수준)과 전반적(문서 수준) 문맥화의 상대적 기여는 어떠한가?

주요 결과

• 제안된 계층적 표현을 위한 마스킹 언어 모델링 방법, { extsc{mask-LM}}$^{\text{global}}$, 는 TriviaQA 파assage 검색 작업에서 최고의 성능을 기록했으며, 이는 이전 작업 대비 6%의 절대적 향상이다.
• CNN/Daily Mail 요약 작업에서 강화 학습을 사용하지 않고도 강력한 성능을 기록했으며, 이는 이전의 추출적 요약 방법보다 ROUGE-1 기준 0.9점, ROUGE-L 기준 0.7점 향상된 결과이다.
• 대부분의 작업에서 높은 수준의 문서 표현만 사전 훈련하는 것보다 낮은 수준의 문장 표현만 사전 훈련하는 것보다 더 큰 성능 향상이 이루어졌다.
• 사전 훈련된 표현을 고정된 특징으로 사용했을 때, ELMo 및 스킵-스토리트 벡터와 같은 강력한 베이스라인을 능가하는 성능을 기록했으며, 이는 전반적 계층적 사전 훈련의 우수성을 입증한다.
• 지역적 및 전반적 표현 모두를 사전 훈련했을 때 사전 훈련의 영향이 가장 뚜렷하게 나타났으며, 다수준 문맥화의 가치를 확인한다.
• 결과는 마스킹 언어 모델링을 통해 사전 훈련된 이원적 계층적 표현이 개괄적 요약에서 자동 생성 모델과 매우 효과적이고 상호 보완적임을 시사한다.