[논문 리뷰] Keyphrase Generation with Cross-Document Attention

Shizhe Diao, Yan Song외 1명|arXiv (Cornell University)|2020. 04. 21.

Advanced Text Analysis Techniques참고 문헌 45인용 수 7

한 줄 요약

이 논문은 교차 문서 주의를 통합하여 문헌 집합 전반의 잠재 주제와 글로벌 문서 종속성을 포착함으로써 키워드 추출을 향상시키는 Transformer 기반 키어드 생성 모델인 CDKGen을 제안한다. 다수의 기준 문서와 OOV 단어를 위한 복사 기법을 활용함으로써 CDKGen은 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 키워드의 관련성과 다양성을 향상시킨다.

ABSTRACT

Keyphrase generation aims to produce a set of phrases summarizing the essentials of a given document. Conventional methods normally apply an encoder-decoder architecture to generate the output keyphrases for an input document, where they are designed to focus on each current document so they inevitably omit crucial corpus-level information carried by other similar documents, i.e., the cross-document dependency and latent topics. In this paper, we propose CDKGen, a Transformer-based keyphrase generator, which expands the Transformer to global attention with cross-document attention networks to incorporate available documents as references so as to generate better keyphrases with the guidance of topic information. On top of the proposed Transformer + cross-document attention architecture, we also adopt a copy mechanism to enhance our model via selecting appropriate words from documents to deal with out-of-vocabulary words in keyphrases. Experiment results on five benchmark datasets illustrate the validity and effectiveness of our model, which achieves the state-of-the-art performance on all datasets. Further analyses confirm that the proposed model is able to generate keyphrases consistent with references while keeping sufficient diversity. The code of CDKGen is available at https://github.com/SVAIGBA/CDKGen.

연구 동기 및 목표

• 기존의 키워드 생성 모델이 단일 문서에만 초점을 맞춰 코퍼스 수준의 주제 정보를 놓치는 한계를 해결하기 위해.
• 다양한 관련 문서로부터의 잠재 주제를 통합하여 키워드의 관련성과 다양성을 향상시키기 위해.
• 입력 문서에서 직접 추출된 용어를 선택함으로써 키워드 내의 OOV(Out-of-Vocabulary) 단어를 처리하기 위해 복사 기법을 도입하기 위해.
• 키워드 생성 중에 여러 문서의 관련 내용에 주의를 기울일 수 있도록 글로벌 주의 메커니즘을 개발하기 위해.
• 기준 문서와의 일관성을 유지하면서도 출력의 다양성을 확보하는 조건에서 키워드 생성 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CDKGen은 표준 Transformer 인코더-디코더 아키텍처에 교차 문서 주의 메커니즘을 확장하여 디코더가 다수의 관련 문서 표현에 주의를 기울일 수 있도록 한다.
• 교차 문서 주의 모듈은 디코더의 은닉 상태와 기준 문서의 인코딩 표현 간의 주의 점수를 계산하여, 모델이 코퍼스 전반의 공통 주제 패턴에 액세스할 수 있도록 한다.
• 디코더에 복사 기법을 통합하여 입력 문서의 단어를 직접 복사할 수 있도록 하여, 키워드 내 희귀 또는 OOV 용어에 특히 유리하다.
• 생성과 복사 사이의 균형을 맞추기 위해 생성 손실과 복사 게이트 메커니즘의 조합을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 인코더는 각 문서를 별도로 처리하지만, 디코더는 기준 세트의 모든 문서에 주의를 기울여 디코딩 중 더 풍부한 맥락을 확보한다.
• 모델은 동적 기준 세트를 지원하여 입력에 따라 가장 관련성이 높은 문서에 자동으로 주의를 기울일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 문서들 간의 잠재 주제 구조를 포착하기 위해 교차 문서 주의를 통합하면 키워드 생성 성능이 향상되는가?
• RQ2 다수의 기준 문서를 포함시킬 경우 생성된 키워드의 관련성과 다양성은 어떻게 영향을 받는가?
• RQ3 복사 기법이 OOV 키워드 단어 처리 성능에 얼마나 기여하는가?
• RQ4 제안된 모델이 표준 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하는가?
• RQ5 기준 키워드와의 일관성은 유지하면서도 충분한 다양성을 확보할 수 있는가?

주요 결과

• CDKGen은 다섯 가지 벤치마크 데이터셋 전부에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 정밀도와 재현율 지표에서 모두 승리한다.
• 교차 문서 주의를 통해 다수 문서의 주제 정보를 활용함으로써 기준 키워드와의 일관성이 향상됨을 입증한다.
• 복사 기법은 희귀 및 OOV 단어 처리 성능을 크게 향상시켜 이러한 단어에 대한 생성 오류를 감소시킨다.
• 제거 실험 결과, 교차 문서 주의와 복사 기법이 모두 독립적으로 모델 성능 향상에 기여하며 상당한 기여를 한다는 것이 확인된다.
• 생성된 키워드는 입력 문서에 대한 관련성과 다양한 출력 간의 다양성 사이에 유리한 균형을 유지한다.
• 정성적 분석 결과, CDKGen은 의미적으로 일관되고 입력 문서 및 기준 문서의 주요 주제와 일치하는 키워드를 생성함을 확인할 수 있다.