[논문 리뷰] Keyphrase Extraction with Span-based Feature Representations

Funan Mu, Zhenting Yu외 8명|arXiv (Cornell University)|2020. 02. 13.

Advanced Text Analysis Techniques참고 문헌 29인용 수 13

한 줄 요약

이 논문은 스파니시 기반 특징 표현을 사용하여 겹치는 어휘구를 효과적으로 처리하고 상호 맥락적 상호작용을 활용하는, 새로운 이단계 접근 방식인 스파니시 핵심어 추출(Span Keyphrase Extraction, SKE) 모델을 제안한다. BERT 또는 RNN을 사용해 스팬 수준의 표현을 생성하고, 양방향 LSTMs를 활용해 어휘구 간의 상호작용을 모델링함으로써, 기준 데이터셋에서 최고 성능을 기록하며, F1 점수와 겹치는 핵심어 탐지에서 기존 방법을 능가한다.

ABSTRACT

Keyphrases are capable of providing semantic metadata characterizing documents and producing an overview of the content of a document. Since keyphrase extraction is able to facilitate the management, categorization, and retrieval of information, it has received much attention in recent years. There are three approaches to address keyphrase extraction: (i) traditional two-step ranking method, (ii) sequence labeling and (iii) generation using neural networks. Two-step ranking approach is based on feature engineering, which is labor intensive and domain dependent. Sequence labeling is not able to tackle overlapping phrases. Generation methods (i.e., Sequence-to-sequence neural network models) overcome those shortcomings, so they have been widely studied and gain state-of-the-art performance. However, generation methods can not utilize context information effectively. In this paper, we propose a novelty Span Keyphrase Extraction model that extracts span-based feature representation of keyphrase directly from all the content tokens. In this way, our model obtains representation for each keyphrase and further learns to capture the interaction between keyphrases in one document to get better ranking results. In addition, with the help of tokens, our model is able to extract overlapped keyphrases. Experimental results on the benchmark datasets show that our proposed model outperforms the existing methods by a large margin.

연구 동기 및 목표

• 기존 핵심어 추출 방법의 한계, 특히 겹치는 핵심어를 처리하지 못하고 맥락 정보를 효과적으로 활용하지 못하는 점을 해결하기 위해.
• 전체 문서 맥락 내에서 스팬 기반 표현을 모델링하여 핵심어 간의 상호작용을 포착하는 방법을 개발하기 위해.
• 개별 토큰이 아닌 단어 시퀀스에서 유도된 고수준 의미 표현을 활용하여 핵심어 순위 매기기 성능을 향상시키기 위해.
• 노력이 많이 들는 특징 공학에 의존하지 않고, 겹치는 것과 의미적으로 구분되는 핵심어를 종단 간 추출할 수 있도록 하기 위해.

제안 방법

• 후행어 품사 패턴 기반의 스팬 검출을 통해 후보 핵심어를 식별하며, 각 어휘구는 시작 및 끝 토큰 위치로 표현된다.
• BERT 또는 RNN을 사용해 전체 문서의 맥락적 및 의미적 정보를 인코딩하는 스팬 기반 표현을 생성한다.
• 양방향 LSTMs 또는 GRUs를 적용해 스팬 표현 간의 상호작용을 모델링함으로써 고차원 어휘구 관계를 포착한다.
• 최종 분류 헤드는 학습된 어휘구 표현을 기반으로 후보 어휘구를 순위 매김함으로써 효과적인 핵심어 선택을 가능하게 한다.
• 각 스팬을 독립적으로 처리함으로써 순서 태깅의 제약 없이 겹치는 어휘구를 지원한다.
• 후보 생성 단계를 수정함으로써 Named Entity Recognition과 같은 다른 NLP 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 스패닝 기반 표현 접근 방식은 문서 내에서 겹치는 핵심어들 간의 의미적 상호작용을 효과적으로 포착할 수 있는가?
• RQ2 양방향 RNN을 사용해 어휘구 수준 표현을 모델링하면 토큰 수준 생성 모델 대비 핵심어 순위 매기기 성능이 향상되는가?
• RQ3 이 모델은 순서 태깅 방법이 추출하기 어려운 겹치는 핵심어를 어느 정도 탐지할 수 있는가?
• RQ4 기준 데이터셋에서 F1 점수와 내성적 안정성 측면에서, 제안된 방법은 최신의 생성 기반 및 이단계 순위 매기기 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• SKE-Large-CLS 모델은 네 개의 기준 데이터셋에서 최고 성능을 기록하며, CopyRNN 및 CorrRNN과 같은 강력한 베이스라인을 능가했다.
• KP20K 데이터셋에서 SKE-RNN-Cls는 F1@5에서 1.8% 향상되고 F1@10에서 12.9% 향상되어 CopyRNN을 능가했다.
• NUS 및 SemEval 데이터셋에서 각각 69.70%와 73.77%의 겹치는 핵심어를 성공적으로 추출하여 겹치는 어휘구 처리 능력이 뛰어나다는 것을 입증했다.
• BERT-Large 기반 문장 쌍 분류 베이스라인 대비 SKE 모델은 학습 속도가 66배 빠르며, 학습 효율성이 크게 향상되었다.
• 사례 연구에서 SKE-Large-CLS는 CorrRNN보다 두 개의 추가 핵심어를 식별하고, 'audio conferencing'과 'audio service'를 별개의 유효한 핵심어로 정확히 분리하여 더 나은 순위를 매겼다.
• 모델는 어휘구를 전체 단위로 의미를 효과적으로 포착하여, 생성 모델이 'real time services'와 'real time'처럼 겹치는 접두어를 생성하는 문제를 피했다.