[논문 리뷰] Joint Copying and Restricted Generation for Paraphrase

Ziqiang Cao, Chuwei Luo외 2명|arXiv (Cornell University)|2016. 11. 28.

Text Readability and Simplification인용 수 61

한 줄 요약

이 논문은 요약 및 텍스트 단순화 데이터셋에서 최신 기술을 초월하여 정보성과 유창성을 모두 향상시키기 위해 복사 및 제한된 생성을 동시에 모델링하는 새로운 시퀀스-투-시퀀스 모델 CoRe를 제안한다. CoRe는 복사 디코더와 소스에 특화된 어휘에 국한된 생성 디코더를 융합하고, 모드 간 선택을 위해 지도 학습 기반 예측기를 사용함으로써, 정보성과 유창성 측면에서 기존의 최신 기술 모델들을 능가한다.

ABSTRACT

Many natural language generation tasks, such as abstractive summarization and text simplification, are paraphrase-orientated. In these tasks, copying and rewriting are two main writing modes. Most previous sequence-to-sequence (Seq2Seq) models use a single decoder and neglect this fact. In this paper, we develop a novel Seq2Seq model to fuse a copying decoder and a restricted generative decoder. The copying decoder finds the position to be copied based on a typical attention model. The generative decoder produces words limited in the source-specific vocabulary. To combine the two decoders and determine the final output, we develop a predictor to predict the mode of copying or rewriting. This predictor can be guided by the actual writing mode in the training data. We conduct extensive experiments on two different paraphrase datasets. The result shows that our model outperforms the state-of-the-art approaches in terms of both informativeness and language quality.

연구 동기 및 목표

• 표준 Seq2Seq 모델이 요약 및 재작성 작업에서 핵심적인 두 가지 작문 방식인 복사와 재작성의 특성을 제대로 반영하지 못하는 데서 기인하는 한계를 해결하기 위해.
• 생성 디코더를 소스에 특화된 작은 어휘로 제한하여 계산 비용을 줄이고 관련성을 향상시키기 위해.
• 작성 방식(복사 대비 재작성)을 명시적으로 모델링하기 위해 지도 학습 기반 예측기를 도입함으로써 모델의 해석 가능성과 성능을 향상시키기 위해.
• 요약 및 재작성 작업에서 정보성과 문장 품질 측면에서 기존의 Seq2Seq 및 통계적 접근 방식을 모두 능가하기 위해.

제안 방법

• 복사 디코더는 표준 어텐션 메커니즘을 사용하여 소스 입력에서 단어를 직접 찾아 복사한다.
• 제한된 생성 디코더는 소스-타겟 어휘 대응어와 빈도가 높은 어휘로 구성된 소스에 특화된 어휘에서만 단어를 생성한다.
• 지표 데이터에서의 실제 작문 방식을 기반으로, 각 출력 토큰이 복사인지 재작성인지 예측하는 이진 시퀀스 레이블링 예측기를 학습한다.
• 최종 출력은 두 디코더의 예측을 조합하여 결정되며, 예측기는 각 단계에서 모드 선택을 수행한다.
• 소스-타겟 대응 표는 사전에 학습되어 있으며, 제한된 어휘를 구성하는 데 사용되어 관련성과 효율성을 향상시킨다.
• 모델은 두 디코더에 대한 교차 엔트로피 손실과 모드 예측기의 시퀀스 레이블링 손실을 함께 최적화하여 공동으로 학습한다.

실험 결과

연구 질문

• RQ1 통합된 Seq2Seq 모델이 요약 생성 과정에서 복사 및 재작성 행동을 효과적으로 모델링할 수 있는가?
• RQ2 생성 디코더를 소스에 특화된 어휘로 제한하는 것이 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 무 supervision 또는 어텐션 기반 모드 선택 방식과 비교해 복수의 지도 학습 기반 모드 예측이 요약 출력의 정확성과 유창성에 기여하는가?
• RQ4 제안된 모델이 정보성과 유창성 측면에서 최신 기술(Seq2Seq 및 통계적 방법)을 모두 능가할 수 있는가?

주요 결과

• CoRe는 요약 및 텍스트 단순화 작업에서 최신 기술(Seq2Seq 모델 및 통계 기반 기계 번역 접근)을 모두 능가한다.
• 다양한 소스 문서의 핵심 어휘를 효과적으로 복사함으로써 정보성을 높였으며, 표준 Seq2Seq 모델에서 관찰되는 연속된 스트림에 대한 과도한 의존도를 피했다.
• 표준 모델 대비 출력 차원이 10분의 1에 불과한 제한된 생성 디코더는 95% 이상의 타겟 단어를 커버하며 높은 관련성의 재작성 결과를 생성한다.
• 테스트 세트의 130개 이상의 예시가 참조 문장과 정확히 동일하게 생성되어 인간의 요약 패턴과 강한 유사성을 보였다.
• 예측기는 적절한 작문 방식을 선택하는 데 성공했으며, CoRe는 'told @entity3'를 'said'로 단순화하는 식으로 인간의 요약 행동을 모방했다.
• Moses는 소스 텍스트를 반복하는 반면 ABS는 문장이 불완전하거나 잘못된 결과를 내는 데 비해, CoRe는 더 유창하고 간결한 출력을 생성한다.