[논문 리뷰] An Integrated Approach for Keyphrase Generation via Exploring the Power of Retrieval and Extraction

Wang Chen, Hou Pong Chan외 3명|arXiv (Cornell University)|2019. 04. 06.

Advanced Text Analysis Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 다중 작업 학습을 통해 추출형, 생성형, 검색 기반 방법을 통합하는 키프레ーズ 생성 프레임워크를 제안한다. 추출 모델을 통해 생성 모델의 복사 메커니즘을 개선하고, 유사 문서를 검색하여 외부 지식을 확보함으로써 키프레ーズ 예측 성능을 향상시킨다. 신경망 기반 병합 모듈은 모든 소스의 출력을 재정렬하여 다섯 개의 벤치마크에서 최신 기술 수준의 성능을 달성한다. Krapivin에서 F1@10 점수는 최대 0.250에 이른다.

ABSTRACT

In this paper, we present a novel integrated approach for keyphrase generation (KG). Unlike previous works which are purely extractive or generative, we first propose a new multi-task learning framework that jointly learns an extractive model and a generative model. Besides extracting keyphrases, the output of the extractive model is also employed to rectify the copy probability distribution of the generative model, such that the generative model can better identify important contents from the given document. Moreover, we retrieve similar documents with the given document from training data and use their associated keyphrases as external knowledge for the generative model to produce more accurate keyphrases. For further exploiting the power of extraction and retrieval, we propose a neural-based merging module to combine and re-rank the predicted keyphrases from the enhanced generative model, the extractive model, and the retrieved keyphrases. Experiments on the five KG benchmarks demonstrate that our integrated approach outperforms the state-of-the-art methods.

연구 동기 및 목표

• 순수하게 추출형 또는 생성형 키프레ーズ 생성 방법의 한계를 해결하라. 이러한 방법들은 존재하지 않는 키프레ーズ를 포착하지 못하거나 전반적인 맥락을 고려하지 못한다.
• 학습 데이터에서 유사 문서를 검색하여 외부 지식을 통합함으로써 키프레ーズ 생성 성능을 향상시킨다.
• 정적 중요도 점수를 추출 모델에서 확보하여 생성 모델의 복사 메커니즘을 향상시켜 주요 내용을 보다 잘 식별하도록 한다.
• 추출, 생성, 검색 출력을 학습 가능한 병합 모듈을 통해 통합하여 최종 순위를 매기는 통합 프레임워크를 개발한다.
• 종합적인 분석과 평가를 통해 여러 벤치마크에서 키프레ーズ 생성 분야의 새로운 최신 기술 수준의 접근법을 확립한다.

제안 방법

• 추출형 시퀀스 레이블링 모델과 복사 메커니즘을 갖춘 생성형 시퀀스 투 시퀀스 모델을 공동으로 학습하는 다중 작업 학습 프레임워크를 제안한다.
• 추출 모델의 출력(단어 수준 중요도 점수)을 사용하여 생성 모델의 복사 확률 분포를 동적으로 재조정함으로써 주요 소스 단어에 대한 주의 집중을 향상시킨다.
• 의미적 유사도를 사용하여 학습 데이터에서 의미적으로 유사한 문서를 검색하는 문서 검색 모듈을 구현하고, 그에 해당하는 키프레즈를 생성 디코더의 외부 메모리로 사용한다.
• 세 가지 소스에서 키프레즈 후보를 수집하는 신경망 기반 병합 모듈을 설계한다: 개선된 생성 출력, 추출 예측, 검색된 키프레즈.
• 생성, 추출, 검색 점수의 특징을 사용하여 후보를 재정렬하는 스코어링 네트워크를 병합 모듈 내부에 학습시켜 종단 간 최적화를 가능하게 한다.
• 모든 구성 요소를 하나의 통합 아키텍처로 통합하여 공동 최적화 및 추론을 가능하게 하며, 더 높은 견고성과 커버리지 확보를 도모한다.

실험 결과

연구 질문

• RQ1 추출형 및 생성형 키프레즈 모델을 함께 최적화하여 존재하는 키프레즈와 존재하지 않는 키프레즈 예측 성능을 모두 향상시킬 수 있는가?
• RQ2 유사 문서에서 검색한 키프레즈를 외부 지식으로 통합할 경우 키프레즈 생성 성능에 어떤 영향을 미치는가?
• RQ3 학습 가능한 병합 모듈을 통해 추출, 생성, 검색 예측을 통합할 경우 최종 키프레즈 순위 매기기 및 전체 성능에 어떤 영향을 미치는가?
• RQ4 정적 중요도 점수를 사용하여 신경망 기반 생성 모델의 복사 메커니즘을 향상시킬 수 있는가?
• RQ5 각 구성 요소인 추출, 검색, 생성이 최종 키프레즈 예측 품질에 기여하는 비율은 각각 얼마인가?

주요 결과

• 통합된 접근법은 Krapivin 벤치마크에서 기존 방법을 능가하는 새로운 최신 기술 수준의 F1@10 점수 0.250을 달성한다.
• 검색된 키프레즈를 통합함으로써 존재하는 키프레즈와 존재하지 않는 키프레즈 예측 모두 향상되며, 존재하지 않는 키프레즈의 재현율(R@10)은 검색 기능이 포함될 경우 0.166에서 0.172로 증가한다.
• 병합 모듈은 성능 향상에 크게 기여하여, 병합 기능이 없는 최고의 베이스라인 대비 F1@10 점수를 0.002 향상시킨다.
• 병합 모듈 내 스코어링 모듈을 제거하면 성능이 저하되며, F1@10 점수가 0.248로 떨어지므로 스코어링 모듈이 효과적인 후보 재정렬에 기여한다는 것을 입증한다.
• 검색, 추출, 생성 점수 없이 오직 스코어링 모듈만을 사용하여 최종 중요도 점수를 산정할 경우 성능이 급격히 저하되며(F1@10 = 0.210), 다중 소스 통합의 필요성을 입증한다.
• 아블레이션 연구를 통해 검색 및 추출 구성 요소가 각각 독립적인 기여를 한다는 점을 확인했다: 추출은 존재하는 키프레즈 예측을 향상시키고, 검색은 존재하지 않는 키프레즈 탐지 능력을 강화한다.