[논문 리뷰] Deep Keyphrase Generation

Rui Meng, Sanqiang Zhao외 4명|arXiv (Cornell University)|2017. 04. 23.

Advanced Text Analysis Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 RNN 인코더-디코더 프레임워크에 복사 메커니즘을 통합한 딥 러닝 기반의 생성 모델을 제안하며, 의미적 의미와 문법적 신호를 포착하여 입력 텍스트에 존재하지 않는 키워드도 생성할 수 있도록 한다. 이 모델은 여섯 개의 데이터셋에서 평균적으로 20퍼센트에 이르는 존재하지 않는 키워드를 복구함으로써 성능 향상을 크게 이룩한다.

ABSTRACT

Keyphrase provides highly-condensed information that can be effectively used for understanding, organizing and retrieving text content. Though previous studies have provided many workable solutions for automated keyphrase extraction, they commonly divided the to-be-summarized content into multiple text chunks, then ranked and selected the most meaningful ones. These approaches could neither identify keyphrases that do not appear in the text, nor capture the real semantic meaning behind the text. We propose a generative model for keyphrase prediction with an encoder-decoder framework, which can effectively overcome the above drawbacks. We name it as deep keyphrase generation since it attempts to capture the deep semantic meaning of the content with a deep learning method. Empirical analysis on six datasets demonstrates that our proposed model not only achieves a significant performance boost on extracting keyphrases that appear in the source text, but also can generate absent keyphrases based on the semantic meaning of the text. Code and dataset are available at https://github.com/memray/OpenNMT-kpg-release.

연구 동기 및 목표

• 기존의 키워드 추출 방법이 텍스트에 이미 존재하는 어휘적 표현만을 식별하고, 의미적으로 관련성이 있는 존재하지 않는 키워드를 생성하지 못하는 한계를 해결하기 위해.
• 신경망 기반의 인코더-디코더 프레임워크를 활용해 텍스트의 깊이 있는 의미적 이해를 모델링함으로써 키워드 예측 성능을 향상시키기 위해.
• 중요한 문장 내 어휘를 유지하면서도 새로운 의미적으로 관련성이 있는 키워드를 생성할 수 있도록 복사 메커니즘을 통합하기 위해.
• 특정 도메인에 맞게 미세조정 없이도 다양한 도메인, 예를 들어 과학 논문과 뉴스 기사 등에 일반화할 수 있는 능력을 평가하기 위해.
• 기존의 접근 방식에서 부족했던 바, 존재하지 않는 키워드를 최대 20퍼센트까지 복구할 수 있음을 입증하기 위해.

제안 방법

• 입력 텍스트(요약문)를 키워드 시퀀스로 매핑하기 위해 순차적-순차적 RNN 인코더-디코더 아키텍처를 사용한다.
• 디코더가 입력 시퀀스에서 서브워드나 어구를 직접 복사할 수 있도록 복사 메커니즘을 적용하여 희귀어나 OOV(Out-of-Vocabulary) 단어를 유지한다.
• 정답 레이블 기반의 키워드 생성 최적화를 위해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 인코더의 은닉 상태와 디코더의 출력 간의 정렬을 향상시키기 위해 어텐션 메커니즘을 활용하여 맥락 인식 능력을 향상시킨다.
• 추론 과정에서 빔 서치를 적용하여 상위-k개의 키워드 후보를 생성한다.
• 사전 학습된 워드 임베딩을 활용하고, 여러 과학 논문 데이터셋에서 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 신경망 기반의 생성 모델이 소스 텍스트에 명시적으로 존재하지 않는 키워드를 효과적으로 예측할 수 있는가?
• RQ2 복사 메커니즘이 희귀어나 OOV 키워드를 생성하는 데 모델의 성능을 얼마나 향상시키는가?
• RQ3 특정 도메인에 맞게 미세조정 없이도 뉴스 기사와 같은 비도메인 텍스트에 일반화할 수 있는가?
• RQ4 기존의 비지도 학습 및 지도 학습 기반의 기준 모델들과 비교할 때, 존재하는 키워드와 존재하지 않는 키워드 모두에 대해 F1 스코어에서 어떤 성능을 보이는가?
• RQ5 모델이 표면적인 단어 공존 패tern을 넘어서 의미적 의미를 얼마나 잘 포착하는가?

주요 결과

• 제안된 CopyRNN 모델은 여섯 개의 벤치마크 데이터셋에서 존재하는 키워드와 존재하지 않는 키워드 모두에 대해 F1 스코어에서 뚜렷한 성능 향상을 보였다.
• 모델은 존재하지 않는 키워드 중 최대 20퍼센트를 성공적으로 복구하여, 입력 텍스트에 존재하지 않는 의미적으로 관련성이 있는 어구를 생성할 수 있음을 입증했다.
• DUC-2001 뉴스 데이터셋에서 CopyRNN은 F1@10 스코어 0.165를 기록하여, TextRank(0.097)와 KeyCluster(0.140)를 능가했고, 도메인 특화 미세조정 없이도 Tf-Idf(0.270)에 가까운 성능을 보였다.
• OOV 단어를 포함한 키워드 중 14.3퍼센트를 정확히 예측하여, 희귀어나 새로운 단어에 대한 일반화 능력이 뛰어나다는 것을 보여주었다.
• 복사 메커니즘이 중요한 문장 내 어구를 유지하면서도 새로운 맥락에 맞는 의미적으로 관련성이 있는 키워드를 생성할 수 있도록 했다.
• 실증 결과에 따르면, 과학 논문에서 학습한 모델를 뉴스 기사 등 다른 도메인으로 이식할 경우 재학습 없이도 잘 일반화됨을 확인했다.