[논문 리뷰] MacNet: Transferring Knowledge from Machine Comprehension to Sequence-to-Sequence Models

Boyuan Pan, Yazheng Yang외 5명|arXiv (Cornell University)|2019. 07. 23.

Topic Modeling인용 수 17

한 줄 요약

MacNet은 사전에 훈련된 기계적 이해(MC) 모델의 지식을 순서-순서(sequence-to-sequence, seq2seq) 모델로 전이함으로써 텍스트 이해 능력을 향상시키는 새로운 보조 인코더-디코더 아키텍처이다. 주어진 attention 기반 seq2seq 프레임워크에 MC 전용 인코딩 및 모델링 구성 요소를 통합함으로써, MacNet은 신경 기계 번역 및 개괄적 텍스트 요약에서 성능을 크게 향상시키며, Gigaword 데이터셋에서 37.97 ROUGE-1, 18.16 ROUGE-2, 34.93 ROUGE-L 점수를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Machine Comprehension (MC) is one of the core problems in natural language processing, requiring both understanding of the natural language and knowledge about the world. Rapid progress has been made since the release of several benchmark datasets, and recently the state-of-the-art models even surpass human performance on the well-known SQuAD evaluation. In this paper, we transfer knowledge learned from machine comprehension to the sequence-to-sequence tasks to deepen the understanding of the text. We propose MacNet: a novel encoder-decoder supplementary architecture to the widely used attention-based sequence-to-sequence models. Experiments on neural machine translation (NMT) and abstractive text summarization show that our proposed framework can significantly improve the performance of the baseline models, and our method for the abstractive text summarization achieves the state-of-the-art results on the Gigaword dataset.

연구 동기 및 목표

• 사전에 훈련된 기계적 이해(MC) 모델의 지식을 전이하여 순서-순서(seq2seq) 모델의 텍스트 이해 능력을 향상시키기 위해.
• 기본 seq2seq 모델이 소스 텍스트의 깊은 의미적 및 맥락적 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 기존 attention 기반 seq2seq 프레임워크의 핵심 구성 요소를 대체하지 않고도 MC 구성 요소를 통합할 수 있는 모듈형 보조 아키텍처를 설계하기 위해.
• 신경 기계 번역 및 개괄적 텍스트 요약과 같은 순서 생성 작업에서 성능을 향상시키기 위해.
• 공유된 고수준 의미적 표현을 통해 다양한 NLP 작업 간 지식 전이의 효과성을 검증하기 위해.

제안 방법

• SQuAD와 같은 벤치마크 데이터셋에서 RNN 기반 인코딩 및 모델링 레이어를 사용해 기계적 이해 모델을 사전에 훈련한다.
• 원래 인코더의 은닉 상태와 함께 MacNet의 출력을 인코딩 단계에 통합함으로써 사전에 훈련된 MC 인코더를 seq2seq 모델의 인코딩 단계에 통합한다.
• seq2seq 디코더의 어텐션 벡터를 전이된 MC 모델링 레이어에 입력하여 맥락 표현을 개선한다.
• MC 모델링 레이어의 출력과 seq2seq 어텐션 벡터를 결합하여 디코딩을 위한 향상된 예측 벡터를 형성한다.
• 훈련 중 자주 나타나는 어휘 표현으로 인한 클래스 불균형 문제를 완화하기 위해 포칼 손실(focal loss)을 적용한다.
• 최종적으로 하류의 순서 생성 작업에서 MacNet 아키텍처를 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 기계적 이해 모델의 지식이 순서-순서 모델의 텍스트 생성 작업 성능 향상에 기여할 수 있는가?
• RQ2 MC 전용 구성 요소를 통합함으로써 seq2seq 모델의 인코더 및 디코더 표현 품질에 어떤 영향을 미치는가?
• RQ3 기본 모델 대비 MacNet이 신경 기계 번역 및 개괄적 텍스트 요약에서 얼마나 향상된 성능을 보이는가?
• RQ4 MC 지식 전이가 더 정확하고 논리적으로 일관된 텍스트 생성을 이끌어내는가?
• RQ5 MacNet은 Gigaword 및 CNN/Daily Mail와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MacNet은 다양한 대규모 데이터셋에서 기반 seq2seq 모델의 신경 기계 번역 성능을 크게 향상시킨다.
• Gigaword 데이터셋에서 MacNet은 요약 생성 과제에서 37.97 ROUGE-1, 18.16 ROUGE-2, 34.93 ROUGE-L 점수를 기록하여 최신 기술 수준의 성능을 달성한다.
• MacNet의 인코딩 구성 요소가 성능 향상에 가장 기여하며, 모델링 레이어는 모든 평가 지표에서 일관된 향상을 보인다.
• 정성적 분석 결과, 기반 Pointer-Generator 모델 대비 MacNet은 더 논리적이고 사실에 기반한 요약을 생성한다.
• CNN/Daily Mail 및 Gigaword 데이터셋에서 MacNet은 모든 ROUGE 점수에서 기반 Pointer-Generator 모델 대비 0.7%에서 1.5% 향상된 성능을 기록한다.
• 포칼 손실의 사용은 빈번한 어휘 표현의 영향을 효과적으로 줄여 훈련 안정성과 성능을 향상시킨다.