[논문 리뷰] Mixture Content Selection for Diverse Sequence Generation

Jaemin Cho, Minjoon Seo외 1명|arXiv (Cornell University)|2019. 09. 04.

Topic Modeling참고 문헌 56인용 수 6

한 줄 요약

이 논문은 질문 생성 및 개괄 요약과 같은 일대다 NLP 작업에서 다양성을 높이기 위해 소스 시퀀스에 대한 이진 마스크를 샘플링하는 전문가의 혼합을 사용하는 플러그 앤 플레이 콘텐츠 선택 모듈인 Selector를 제안한다. 이 모듈은 다양한 콘텐츠 초점을 가능하게 하며, 표준 인코더-디코더 모델과 통합되어 질문 생성과 개괄 요약에서 최신 기술 수준의 top-1 정확도를 달성한다. 이전 방법보다 6% 높은 top-5 정확도와 3.7배 빠른 학습 속도를 기록한다.

ABSTRACT

Generating diverse sequences is important in many NLP applications such as question generation or summarization that exhibit semantically one-to-many relationships between source and the target sequences. We present a method to explicitly separate diversification from generation using a general plug-and-play module (called SELECTOR) that wraps around and guides an existing encoder-decoder model. The diversification stage uses a mixture of experts to sample different binary masks on the source sequence for diverse content selection. The generation stage uses a standard encoder-decoder model given each selected content from the source sequence. Due to the non-differentiable nature of discrete sampling and the lack of ground truth labels for binary mask, we leverage a proxy for ground truth mask and adopt stochastic hard-EM for training. In question generation (SQuAD) and abstractive summarization (CNN-DM), our method demonstrates significant improvements in accuracy, diversity and training efficiency, including state-of-the-art top-1 accuracy in both datasets, 6% gain in top-5 accuracy, and 3.7 times faster training over a state of the art model. Our code is publicly available at https://github.com/clovaai/FocusSeq2Seq.

연구 동기 및 목표

• 질문 생성 및 요약과 같은 일대다 NLP 작업에서 다양하고 의미적으로 다른 시퀀스를 생성하는 데 도전하는 데 목적을 둔다.
• 콘텐츠 선택을 시퀀스 생성에서 분리하여 모듈화되고 효율적인 다양성 제어를 가능하게 한다.
• 이산 마스크 샘플링의 비미분 가능성과 콘텐츠 선택에서의 지도 마스크 부재 문제를 해결한다.
• 정확도와 다양성에서 최신 기술 수준을 유지하거나 초월하면서도 학습 효율성을 향상시킨다.
• 기존의 인코더-디코더 모델에 통합할 수 있는 일반적이고 아키텍처에 종속되지 않는 모듈을 제공한다.

제안 방법

• Selector 모듈은 소스 시퀀스 토큰에 대해 이산적인 이진 마스크를 생성하기 위해 전문가의 혼합을 사용한다. 각 마스크는 생성에 대한 다른 초점을 나타낸다.
• 각 마스크는 소스 콘텐츠의 서로 다른 부분집합을 선택하며, 이는 표준 인코더-디코더 모델에 입력되어 다양한 타겟 시퀀스를 생성한다.
• 비미분 가능한 마스크 샘플링 과정을 학습하기 위해 확률적 하드-EM이 사용되며, 소스와 타겟 간의 겹침을 지도 마스크의 대체 지표로 사용한다.
• 이 방법은 디코딩 전략과 수직적일 수 있으며, 비트맵 서치, 샘플링 또는 기타 디코딩 기법과 조합할 수 있다.
• 지침 마스크가 필요 없이 소스-타겟 겹침을 기반으로 한 대체 손실을 사용하여 엔드 투 엔드로 모델을 학습한다.
• 이 방법은 다수의 디코더를 가진 모델에 비해 여러 전문가에 대한 병렬 추론을 가능하게 하여 훨씬 빠른 학습 시간을 제공한다.

실험 결과

연구 질문

• RQ1 플러그 앤 플레이 콘텐츠 선택 모듈은 기반 생성 아키텍처를 수정하지 않고도 시퀀스 생성의 다양성을 향상시킬 수 있는가?
• RQ2 이진 마스크를 통한 명시적 콘텐츠 선택은 디코딩 전략이나 다수의 디코더를 통한 다양성과 비교해 어떻게 다를까?
• RQ3 지도 마스크가 없을 경우 소스-타겟 겹침을 기반으로 한 대체 신호가 효과적으로 학습을 이끄는가?
• RQ4 다양성 제어를 생성 과정에서 분리하면 정확도, 다양성, 학습 효율성이 향상되는가?
• RQ5 마스크 생성에 전문가의 혼합 방식이 기존 방법보다 성능과 학습 속도 면에서 뛰어나게 되는가?

주요 결과

• 제안된 방법은 SQuAD(질문 생성) 및 CNN-DM(개괄 요약) 데이터셋에서 최신 기술 수준의 top-1 정확도를 달성한다.
• 두 데이터셋 모두에서 이전 최신 기술 수준의 모델보다 top-5 정확도가 6% 향상된다.
• 최신 기술 수준의 전문가 혼합 디코더 모델보다 학습 속도가 3.7배 빠르며, 단계당 학습 시간은 747.6ms로, 5개의 디코더를 가진 설정의 2367.6ms보다 빠르다.
• 인간 평가 결과, 질문 생성 및 요약 작업 모두에서 기준 모델에 비해 유의미하게 높은 다양성과 정확도를 확보하였다.
• CNN-DM에서 ROUGE-1과 ROUGE-L 점수를 새 최고 기록으로 기록하였으며, 개괄 요약 방법 중에서 SQuAD에서 가장 높은 BLEU-4 점수를 기록하였다.
• 정성 분석 결과, 서로 다른 전문가가 생성한 마스크는 생성기에서 다른 주의 패턴을 유도함으로써 효과적인 콘텐츠 가이드라인을 제공하는 것으로 확인되었다.