[논문 리뷰] MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction

Linhan Zhang, Qian Chen외 6명|arXiv (Cornell University)|2021. 10. 13.

Advanced Text Analysis Techniques인용 수 6

한 줄 요약

MDERank는 후보 키워드를 문서에서 마스킹하고 원본 및 마스킹된 문서 간의 임bedding 유사도를 측정하여 유사도 기반 순위 매기기의 성능을 향상시키는 새로운 비지도 키어드 추출 방법을 제안한다. KPE-최적화된 BERT 모델(KPEBERT)과 대비 학습을 활용하여 최신 기술 수준(SOTA) 성능을 달성하며, SIFRank 대비 3.53 F1@15 향상률을 기록한다.

ABSTRACT

Keyphrase extraction (KPE) automatically extracts phrases in a document that provide a concise summary of the core content, which benefits downstream information retrieval and NLP tasks. Previous state-of-the-art (SOTA) methods select candidate keyphrases based on the similarity between learned representations of the candidates and the document. They suffer performance degradation on long documents due to discrepancy between sequence lengths which causes mismatch between representations of keyphrase candidates and the document. In this work, we propose a novel unsupervised embedding-based KPE approach, Masked Document Embedding Rank (MDERank), to address this problem by leveraging a mask strategy and ranking candidates by the similarity between embeddings of the source document and the masked document. We further develop a KPE-oriented BERT (KPEBERT) model by proposing a novel self-supervised contrastive learning method, which is more compatible to MDERank than vanilla BERT. Comprehensive evaluations on six KPE benchmarks demonstrate that the proposed MDERank outperforms state-of-the-art unsupervised KPE approach by average 1.80 $F1@15$ improvement. MDERank further benefits from KPEBERT and overall achieves average 3.53 $F1@15$ improvement over the SOTA SIFRank. Our code is available at \url{https://github.com/LinhanZ/mderank}.

연구 동기 및 목표

• 문서와 키워드 후보 간 길이 차이로 인해 비지도 키워드 추출에서 어절-문서 유사도 방법의 성능 저하 문제를 해결하기 위해.
• 원본 문서와 마스킹된 문서 간 비교 가능한 시퀀스 길이를 확보하여 의미 유사도 계산의 신뢰성을 향상시키기 위해.
• 마스킹된 문서에서의 문맥적 임베딩을 활용하여 키워드 후보 표현을 향상시켜 유사도 매칭을 위한 richer한 맥락을 유지하기 위해.
• 자기지도 대비 학습을 통해 도메인 특화의 사전학습된 언어 모델(KPEBERT)을 개발하여 키워드 추출에 최적화하기 위해.
• 특히 이전 방법이 성능을 저하시키는 장문의 문서에서의 강건성과 뛰어난 성능을 입증하기 위해.

제안 방법

• MDERank는 마스킹된 문서 임베딩 순위 매기기 전략을 사용한다: 원본 문서에서 후보 키워드를 마스킹하고, 원본과 마스킹된 버전 간의 의미 유사도를 계산한다.
• 이 방법은 원본과 마스킹된 문서 임베딩 간의 유사도가 증가하는 순서로 키워드 후보를 순위 매긴다—유사도가 낮을수록 키워드 중요도가 높다.
• 심층적 맥락 임베딩을 생성하기 위해 BERT 기반 인코더를 사용하며, 최적의 의미 표현을 위해 최종 레이어를 선택한다.
• 키워드 추출에 최적화된 KPEBERT를 위해 새로운 자기지도 대비 학습 목표를 도입한다. 이는 비지도 KPE 방법으로부터 유도된 가짜 레이블을 사용한다.
• YAKE와 TextRank와 같은 방법으로부터 유도된 가짜 레이블 데이터를 사용해 미세조정하여 일반화 및 강건성을 향상시킨다.
• BERT 레이어 전반에 걸쳐 평균 풀링(AvgPooling)과 최대 풀링(MaxPooling) 전략을 평가하여 MDERank에 최적의 임베딩 집계 방식을 도출한다.

실험 결과

연구 질문

• RQ1 문서에서 키워드 후보를 마스킹하는 것이 비지도 키워드 추출에서 의미 유사도 측정의 신뢰성을 향상시키는가?
• RQ2 마스킹된 문서 임베딩을 키워드 중요도의 대체 지표로 사용할 경우 직접적인 어절-문서 유사도 매칭보다 성능이 뛰어나지 않는가?
• RQ3 자기지도 대비 학습 목표를 사용하면 사전학습된 언어 모델의 키워드 추출 성능을 향상시킬 수 있는가?
• RQ4 가짜 레이블 생성에 사용된 비지도 KPE 방법의 선택이 KPE-최적화된 BERT 모델(KPEBERT)의 성능에 어떤 영향을 미치는가?
• RQ5 특히 장문의 문서에서 MDERank는 길이 변화에 대해 강건성을 유지하는가?

주요 결과

• MDERank는 여섯 개의 벤치마크에서 이전 최신 기술 수준(SOTA) 비지도 방법인 SIFRank 대비 평균 1.80 F1@15 향상률을 기록한다.
• KPEBERT와 결합했을 때 MDERank는 SIFRank 대비 평균 3.53 F1@15 향상률을 기록하여 방법과 최적화된 모델 간 강력한 상호보완성을 입증한다.
• KPEBERT 사전학습에 YAKE를 가짜 레이블 생성기로 사용할 경우, 특히 장문의 문서에서 TextRank보다 뛰어난 성능을 기록한다.
• MDERank에서 마지막 BERT 레이어가 항상 초기 레이어보다 성능이 뛰어나며, 깊이 있는 맥락 표현이 성능 향상에 기여함을 시사한다.
• MDERank와 EmbedRank 모두에서 MaxPooling은 AvgPooling보다 성능이 열 劣하며, MDERank는 더 강력한 풀링과 깊은 레이어에서 더 큰 이점을 얻는다.
• MDERank는 길이 변동에 대해 강건성을 보이며, 어절-문서 유사도 방법에서 관찰되는 더 긴 어절에 대한 편향을 피한다.