[논문 리뷰] Applying a Generic Sequence-to-Sequence Model for Simple and Effective Keyphrase Generation

Md Faisal Mahbub Chowdhury, Gaetano Rossiello외 3명|arXiv (Cornell University)|2022. 01. 14.

Advanced Text Analysis Techniques인용 수 12

한 줄 요약

이 논문은 특수한 아키텍처나 복잡한 학습 절차 없이, 미세조정된 BART를 사용한 단순하지만 효과적인 키워드 생성 시스템을 제안한다. 비록 단순한 구조이지만, 다섯 개인 키워드 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하여, 표준 사전학습 모델이 최소한의 적응만으로 전문화된 KPG 시스템을 따라하거나 능가할 수 있음을 입증한다.

ABSTRACT

In recent years, a number of keyphrase generation (KPG) approaches were proposed consisting of complex model architectures, dedicated training paradigms and decoding strategies. In this work, we opt for simplicity and show how a commonly used seq2seq language model, BART, can be easily adapted to generate keyphrases from the text in a single batch computation using a simple training procedure. Empirical results on five benchmarks show that our approach is as good as the existing state-of-the-art KPG systems, but using a much simpler and easy to deploy framework.

연구 동기 및 목표

• BART와 같은 일반적인 시퀀스-투-시퀀스 모델이 특수화된 아키텍처나 학습 패러다임 없이도 효과적으로 키워드를 생성할 수 있는지 조사하는 것.
• 단일의 미세조정된 BART 모델이 여러 키워드 벤치마크에 걸쳐 일반화 능력을 얼마나 잘 보이는지 평가하는 것.
• 복잡한 작업 전용 모델을 대체하여 표준 NLP 관행에 기반한 통합형, 구현 가능한 프레임워크로 키워드 생성을 단순화하는 것.
• 기본 초모수와 최소한의 미세조정만으로도 최신 기술 수준의 KPG 시스템에 비해 경쟁 가능한 성능을 낼 수 있는지 보여주는 것.

제안 방법

• 도메인 전용 사전 처리 없이, 표준 시퀀스-투-시퀀스 학습 절차를 사용해 Kp20K 데이터셋에서 BART-large 및 BART-base를 미세조정한다.
• 학습 중 전체 키워드 목록을 타겟 시퀀스로 간주하는 One2Seq 학습 파라다임을 사용한다.
• 추론 시 빔 크기가 20인 빔 서치를 사용하여 문서당 10개의 키워드를 생성한다.
• 평가 중 문장 매칭 오류를 줄이기 위해 표준 토크나이제이션(공백 기준 분할)과 구두점 정규화를 적용한다.
• 표준 평가 지표를 사용한다: 존재하는 키워드에 대한 F-score@5 및 F-score@10, 존재하지 않는 키워드에 대한 Recall@10.
• 다른 네 개의 벤치마크(Inspec, NUS, SemEval, Krapivin)에 대해 추가적인 미세조정이나 초모수 조정 없이 동일한 미세조정된 모델을 그대로 사용한다.

실험 결과

연구 질문

• RQ1 BART와 같은 일반적인 시퀀스-투-시퀀스 모델이 아키텍처 전용 설계 없이도 경쟁 가능한 키워드 생성 성능을 달성할 수 있는가?
• RQ2 단일의 미세조정된 BART 모델이 재학습 없이 다양한 키워드 벤치마크에 효과적으로 일반화되는가?
• RQ3 복잡한 아키텍처와 맞춤형 학습 전략을 사용하는 최신 기술 수준의 KPG 모델과 비교해 단순한 BART 기반 시스템의 성능은 어떠한가?
• RQ4 BART 기반 모델에서 존재하지 않는 키워드 생성의 주요 실패 유형은 무엇이며, 특히 존재하지 않는 키워드 비율이 높은 데이터셋에서 어떤가?
• RQ5 기본 초모수와 최소한의 사전 처리만으로도 광범위한 튜닝과 작업 전용 설계를 갖춘 시스템과 비교해 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• BART-large 모델은 다섯 개의 벤치마크 중 세 곳에서 F-score@10 최신 기술 수준을 달성했으며, Krapivin에서 13.2%의 Recall@10을 기록해 이전 방법들을 능가했다.
• BART-base 모델은 모든 벤치마크에서 경쟁 가능한 성능을 보였으며, Kp20K에서 6.1%의 Recall@10, Inspec에서 5.4%의 Recall@10을 기록해 강력한 일반화 능력을 보였다.
• 모델이 생성한 존재하지 않는 키워드의 수는 지표보다 훨씬 적었으며(평균 2.05 대 8.36), 이는 재현율이 여전히 주요 과제임을 시사한다.
• 수동 분석 결과, 생성된 존재하지 않는 키워드 중 58%가 잘못된 부정(파라미터 오류)이었으며, 주로 'malmalware' 또는 'pairpairwise'처럼 불필요한 토큰 반복으로 인한 것이었다.
• SemEval의 존재하지 않는 키워드 성능이 낮음에도 불구하고, 인간 평가자들이 생성된 존재하지 않는 키워드의 64%를 올바른 것으로 평가했으며, 이는 모델이 의미적인 패턴을 효과적으로 포착하고 있음을 시사한다.
• 이 접근법은 복잡한 KPG 전용 설계가 반드시 필요하지 않음을 입증하며, 최소한의 튜닝만으로도 표준 시퀀스-투-시퀀스 모델이 최신 기술 수준의 성능을 따라하거나 능가할 수 있음을 보여준다.