[논문 리뷰] Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study

Di Wu, Wasi Uddin Ahmad외 1명|arXiv (Cornell University)|2022. 12. 20.

Advanced Text Analysis Techniques인용 수 6

한 줄 요약

이 논문은 키페이저 생성을 위한 사전 훈련된 언어 모델(PLM) 사용에 대한 종합적인 실증 연구를 제시하며, 다양한 도메인에서 인코더-오직 및 인코더-디코더 PLM을 비교한다. 연구 결과, 도메인 내 BERT 유사 PLM이 자원이 제한된 환경에서 최고 성능을 기록하며, 고정된 파라미터 예산 하에서 깊이 있는 인코더가 넓이 또는 균형 잡힌 모델보다 성능이 뛰어나 데이터 효율성과 성능 향상을 제공한다.

ABSTRACT

Neural models that do not rely on pre-training have excelled in the keyphrase generation task with large annotated datasets. Meanwhile, new approaches have incorporated pre-trained language models (PLMs) for their data efficiency. However, there lacks a systematic study of how the two types of approaches compare and how different design choices can affect the performance of PLM-based models. To fill in this knowledge gap and facilitate a more informed use of PLMs for keyphrase extraction and keyphrase generation, we present an in-depth empirical study. Formulating keyphrase extraction as sequence labeling and keyphrase generation as sequence-to-sequence generation, we perform extensive experiments in three domains. After showing that PLMs have competitive high-resource performance and state-of-the-art low-resource performance, we investigate important design choices including in-domain PLMs, PLMs with different pre-training objectives, using PLMs with a parameter budget, and different formulations for present keyphrases. Further results show that (1) in-domain BERT-like PLMs can be used to build strong and data-efficient keyphrase generation models; (2) with a fixed parameter budget, prioritizing model depth over width and allocating more layers in the encoder leads to better encoder-decoder models; and (3) introducing four in-domain PLMs, we achieve a competitive performance in the news domain and the state-of-the-art performance in the scientific domain.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)이 키페이저 생성에서 비사전 훈련된 신경 모델과 비교해 얼마나 효과적인지 체계적으로 평가하는 것.
• PLM 유형, 사전 훈련 도메인, 파라미터 할당 방식, 제작 방식 등의 설계 선택 사항이 성능에 미치는 영향을 조사하는 것.
• 특히 자원과 계산 자원이 제한된 상황에서 PLM을 가장 잘 활용할 수 있는 시점과 방법을 규명하는 것.
• 연구자와 실무자들이 키페이저 작업에 적합한 PLM을 선택하고 미세 조정하는 데 실질적인 통찰을 제공하는 것.

제안 방법

• 키페이저 생성을 순서에서 순서로(sequence-to-sequence, seq2seq) 생성 문제로, 키페이저 추출을 순서 레이블링(sequence labeling) 문제로 제작한다.
• 뉴스, 과학, 소프트웨어 도메인에 걸쳐 7개 데이터셋에서 다양한 PLM—BERT, BART, T5, 및 도메인 특화 변종—을 미세 조정한다.
• 과학 분야의 S2ORC 및 뉴스 분야의 RealNews 코퍼스를 기반으로 사전 훈련한 4종의 도메인 내 PLM을 도입하여 도메인 특화 성능을 평가한다.
• 고정된 파라미터 예산 하에서 모델의 깊이와 너비를 변화시켜 다양한 파라미터 할당 전략을 비교하며, 인코더-디코더 간의 상호 교환성을 중심으로 분석한다.
• 현재 키페이저 예측을 위한 세 가지 제작 방식—직접 생성, 순서 레이블링, CRF 향상된 순서 레이블링—을 평가한다.
• 표준 평가 지표인 F1, 정밀도, 재현율을 사용하여 자원이 제한된 환경과 자원이 풍부한 환경에서의 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 PLM 기반 모델은 키페이저 생성에서 비사전 훈련된 모델과 비교해 성능과 자원 효율성 측면에서 어떻게 다른가?
• RQ2 도메인 내 PLM를 사용하면 특히 자원이 제한된 상황에서 성능 향상이 이루어지는가?
• RQ3 고정된 모델 크기 예산 하에서 최적의 파라미터 할당 전략(깊이 대 너비, 인코더 대 디코더)은 무엇인가?
• RQ4 생성, 순서 레이블링, 또는 CRF-향상된 순서 레이블링 중 어떤 제작 방식이 키페이저 예측 성능을 가장 높이는가?

주요 결과

• 도메인 내 BERT 유사 PLM은 과학 분야에서 최고 성능을 기록하며, 뉴스 분야에서도 경쟁력 있는 성능을 보이며 강력한 자원 효율성을 입증한다.
• 고정된 파라미터 예산 하에서 인코더에 더 많은 레이어를 할당하고 깊이를 우선시하는 것이 너비를 늘리거나 인코더/디코더 파라미터를 균형 있게 할당하는 것보다 유의미하게 높은 성능을 내는 것으로 나타났다.
• 도메인 내 인코더-오직 PLM를 직접 키페이저 생성에 대해 미세 조정하면 뛰어난 성능을 기록하며, 오직 인코더-디코더 PLM만이 적합하다는 가정을 도전한다.
• 과학 문헌과 같은 전문 분야에서 특히 성능 향상을 이끌어내기 위해 도메인 특화 PLM(예: SciBART, KeyBART)을 사용할 경우 성능 향상이 뚜렷하다.
• PLM 기반 모델은 자원이 풍부한 환경에서는 경쟁적인 성능을 기록하고, 자원이 제한된 환경에서는 최고 성능을 기록하며, 이는 자원 효율성을 확인한다.
• CRF를 적용한 순서 레이블링은 표준 순서 레이블링보다 성능 향상을 이끌지만, 도메인 내 PLM나 깊이 있는 아키텍처를 사용했을 때의 성능 향상과 비교하면 그 성과는 크지 않다.