[논문 리뷰] Keyphrase Prediction With Pre-trained Language Model

Rui Liu, Zheng Lin외 1명|arXiv (Cornell University)|2020. 04. 22.

Advanced Text Analysis Techniques참고 문헌 20인용 수 13

한 줄 요약

이 논문은 키워드 예측을 현재 키워드 추출(PKE)과 부재 키워드 생성(AKG)으로 분리하는 통합 프레임워크를 제안한다. 두 작업에 동일한 BERT 모델을 사용하며, PKE는 시퀀스 레이블링에 BERT를 적용하고, AKG는 트랜스포머 기반 모델에 게이팅 퓌전 어텐션 모듈을 통합하여 미세조정된 PKE 지식을 통합한다. 이 방법은 기준 데이터셋에서 기존의 추출형 및 생성형 모델보다 두 작업 모두에서 최고 성능을 달성한다.

ABSTRACT

Recently, generative methods have been widely used in keyphrase prediction, thanks to their capability to produce both present keyphrases that appear in the source text and absent keyphrases that do not match any source text. However, the absent keyphrases are generated at the cost of the performance on present keyphrase prediction, since previous works mainly use generative models that rely on the copying mechanism and select words step by step. Besides, the extractive model that directly extracts a text span is more suitable for predicting the present keyphrase. Considering the different characteristics of extractive and generative methods, we propose to divide the keyphrase prediction into two subtasks, i.e., present keyphrase extraction (PKE) and absent keyphrase generation (AKG), to fully exploit their respective advantages. On this basis, a joint inference framework is proposed to make the most of BERT in two subtasks. For PKE, we tackle this task as a sequence labeling problem with the pre-trained language model BERT. For AKG, we introduce a Transformer-based architecture, which fully integrates the present keyphrase knowledge learned from PKE by the fine-tuned BERT. The experimental results show that our approach can achieve state-of-the-art results on both tasks on benchmark datasets.

연구 동기 및 목표

• 기존 모델이 부재 키워드를 생성하지 못하거나 현재 키워드 추출에서 성능이 열등한 데 기인한 한계를 해결하기 위해.
• 추출형 모델의 강점(의존성 모델링)과 생성형 모델의 강점(부재 키워드 생성)을 분리된 작업으로 분리함으로써 유기적으로 활용하기 위해.
• 공유 BERT 모델을 통해 두 하위 작업 간에 맥락 지식을 공유함으로써 키워드 예측 성능을 향상시키기 위해.
• 게이팅 퓌전 어텐션 기반 메커니즘을 통해 명시적인 현재 키워드 지식을 통합함으로써 부재 키워드 생성의 품질을 향상시키기 위해.

제안 방법

• PKE 작업은 BERT와 CRF 디코딩을 사용한 시퀀스 레이블링 문제로 설정되어 현재 키워드를 예측한다.
• 학습 중 노이즈를 줄이기 위해 현재 키워드를 포함할 가능성이 높은 문장만 선택하는 문장 필터 모듈을 도입한다.
• AKG 작업은 공유 BERT 인코더에 조건부로 작동하는 트랜스포머 기반 디코더와 복사 메커니즘을 사용한다.
• 게이팅 퓌전 어텐션 모듈은 BERT 표현과 트랜스포머 인코더 출력을 통합하여, 미세조정된 PKE 지식을 생성 과정에 통합한다.
• 공유 BERT 모델을 PKE 및 AKG 작업에 동시에 미세조정하여 하위 작업 간 맥락 지식을 공유한다.
• 이 프레임워크는 공동 최적화를 가능하게 하여 PKE가 인코더를 개선하고, AKG가 정확한 키워드 추출에 이바지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 현재 키워드 추출과 부재 키워드 생성으로 키워드 예측을 분리함으로써 두 작업의 성능 향상이 가능할까?
• RQ2 추출형 및 생성형 모델을 어떻게 공동 최적화하여 상호보완적인 강점을 활용할 수 있을까?
• RQ3 PKE에서 미세조정된 BERT 표현이 생성형 모델의 부재 키워드 생성 품질을 향상시킬 수 있을까?
• RQ4 노이즈가 많은 문장을 필터링하는 것이 현재 키워드 추출 성능에 어떤 영향을 미칠까?
• RQ5 명시적인 현재 키워드 지식을 통합함으로써 생성된 부재 키워드의 관련성과 정확도가 향상될까?

주요 결과

• 제안된 모델은 세 가지 기준 데이터셋에서 PKE 및 AKG 작업 모두 최고 성능(SOTA)을 달성한다.
• TG-Net 및 KG-KE-KR와 같은 강력한 베이스라인을 초월하여 사례 연구에서 모든 참조 부재 키워드를 생성하는 데 성공했으며, 다른 모델들은 최소한 하나의 키워드를 놓쳤다.
• 문장 필터 모듈은 관련 문장만 선택하여 PKE 성능을 향상시키며, K=7개의 문장을 선택할 때 최적의 성능를 기록한다.
• PKE의 F1 스코어는 K=7에서 최고를 기록하여 재현율과 정밀도 사이의 균형을 이룬다. 너무 많은 노이즈가 포함되면 성능이 저하된다.
• 게이팅 퓌전 어텐션 메커니즘은 PKE 지식을 효과적으로 AKG 모델에 통합하여 더 주제 관련성이 높은 부재 키워드 생성을 가능하게 한다.
• 모델는 동적으로 추출할 키워드 수를 결정한다(예: 사례 연구에서 6개), 기존의 고정된 top-k 제한을 피한다.