[논문 리뷰] An Empirical Study on Neural Keyphrase Generation

Rui Meng, Xingdi Yuan외 4명|arXiv (Cornell University)|2020. 09. 22.

Advanced Text Analysis Techniques참고 문헌 37인용 수 4

한 줄 요약

이 경험적 연구는 RNN 및 Transformer 아키텍처를 사용한 One2One 및 One2Seq 학습 프레임워크를 통해 신경 키워드 생성(KPG)에서 일반화에 영향을 미치는 핵심 요인을 조사한다. 저자들은 키워드의 학습 순서(예: 존재하는 키워드를 먼저, 존재하지 않는 키워드를 나중에)가 성능에 상당한 영향을 미치며, 특히 존재하지 않는 키워드의 경우 더욱 두드러진다. 또한 적절히 활용될 경우 더 큰 학습 데이터가 일반화를 향상시킨다. 이는 향후 KPG 연구에 실용적인 통찰을 제공한다.

ABSTRACT

Recent years have seen a flourishing of neural keyphrase generation (KPG) works, including the release of several large-scale datasets and a host of new models to tackle them. Model performance on KPG tasks has increased significantly with evolving deep learning research. However, there lacks a comprehensive comparison among different model designs, and a thorough investigation on related factors that may affect a KPG system's generalization performance. In this empirical study, we aim to fill this gap by providing extensive experimental results and analyzing the most crucial factors impacting the generalizability of KPG models. We hope this study can help clarify some of the uncertainties surrounding the KPG task and facilitate future research on this topic.

연구 동기 및 목표

• 신경 키워드 생성(KPG)에서 모델 설계 간 종합적인 비교가 부족한 점을 보완하기 위해.
• One2One 대비 One2Seq 학습 프레임워크, RNN 대비 Transformer 아키텍처, 데이터 규모가 KPG 시스템 성능에 미치는 영향을 조사하기 위해.
• 학습 중 키워드 순서가 모델의 일반화에 미치는 영향, 특히 존재하지 않는 키워드에 대해 분석하기 위해.
• 다양한 테스트 분포와 하이퍼파라미터 설정에서 모델 행동을 평가함으로써 향후 KPG 연구를 위한 경험적 지침을 제공하기 위해.

제안 방법

• 연구는 KP20k 데이터셋에서 RNN 및 Transformer 기반 모델을 One2One 및 One2Seq 학습 프레임워크 하에 평가한다.
• One2Seq은 <bos>, <sep>, <eos> 토큰을 사용해 모든 참조 키워드를 하나의 시퀀스로 결합하며, 순서 전략으로는 Pres-Abs(존재하는 키워드를 먼저, 존재하지 않는 키워드를 나중에), Abs-Pres(존재하지 않는 키워드를 먼저), 무작위 순서가 포함된다.
• RNN 모델은 복사 및 커버리지 메커니즘을 갖춘 GRU 기반 인코더와 디코더를 사용하며, Transformer 변형은 GRU를 자기주의 블록으로 대체한다.
• 모델들은 표준 메트릭(F1@O, R@50, F1@10)을 사용해 훈련 및 평가되며, 검증 F1@O 점수 기반 조기 정지 전략을 적용한다.
• 다양한 학습 순서를 체계적으로 비교하여 존재 및 존재하지 않는 키워드 생성에서의 성능에 미치는 영향을 평가한다.
• 하이퍼파라미터 튜닝 및 데이터 증강 전략을 적용하여 더 큰 학습 데이터의 이점을 평가한다.

실험 결과

연구 질문

• RQ1 KPG 모델은 존재하지 않는 키워드에 대해 다양한 테스트 분포에서 얼마나 잘 일반화되는가?
• RQ2 학습 중 키워드 타겟의 순서(예: 존재-먼저-존재하지 않는 대비 존재하지 않는-먼저-존재하는)가 모델의 일반화에 영향을 미치는가?
• RQ3 학습 데이터 크기를 늘릴수록 성능 향상 정도는 어느 정도이며, 어떻게 더 효과적으로 활용할 수 있는가?

주요 결과

• Pres-Abs 순서 전략(존재하는 키워드를 먼저, 존재하지 않는 키워드를 나중에)은 다른 순서 전략보다 일관되게 뛰어난 성능을 보이며, 특히 존재하지 않는 키워드 생성에서 뛰어나 35.9의 F1@O 점수를 기록했다.
• Abs-Pres 순서 전략(존재하지 않는 키워드를 먼저)으로 학습한 모델은 존재하지 않는 키워드에서 성능이著しく 떨어지며, F1@O 점수가 30.7로 하락하여 학습 순서가 일반화에 강력한 영향을 미친다는 것을 시사한다.
• Transformer 아키텍처(TRANS)는 모든 설정에서 RNN 모델을 능가하며, Pres-Abs 순서 전략을 사용할 경우 KP20k에서 최고 F1@O 35.9를 기록했다.
• 더 큰 학습 데이터는 일반화를 향상시킨다: 전체 데이터(증강된 데이터 포함)로 학습한 모델은 더 작은 서브셋으로 학습한 모델보다 높은 F1@O 및 R@50 점수를 기록했다.
• Pres-Abs 전략 하에서 추론 중 생성된 고유한 키워드 수가 가장 높아, 예측의 커버리지와 다양성 측면에서 더 나은 성능을 보였다.
• 무작위 및 알파벳 순서 전략은 가장 낮은 성능을 보이며, F1@O 점수가 25.0 이하로 떨어져, 임의의 순서가 모델 학습과 일반화에 악영향을 미친다는 것을 시사한다.