[논문 리뷰] Keyphrase Generation for Scientific Articles using GANs

Avinash Swaminathan, Raj Gupta외 4명|arXiv (Cornell University)|2019. 09. 24.

Advanced Text Analysis Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 과학 논문의 개괄적 关련어 생성을 위한 조건부 GAN 프레임워크를 제안하며, 계층적 어텐션 디스criminator와 어텐션 및 복사 메커니즘을 갖춘 catSeq 기반 생성기로 구성된다. 이 모델은 개괄적 관련어 생성 분야에서 최고 성능을 기록하여 KP20k에서 F1@M(0.045)에서 추출 기반 베이스라인을 능가하고, KP20k에서 α-nDCG@5(0.85)로 최고 기록을 달성하여 생성된 관련어의 다양성과 품질이 향상됨을 입증한다.

ABSTRACT

In this paper, we present a keyphrase generation approach using conditional Generative Adversarial Networks (GAN). In our GAN model, the generator outputs a sequence of keyphrases based on the title and abstract of a scientific article. The discriminator learns to distinguish between machine-generated and human-curated keyphrases. We evaluate this approach on standard benchmark datasets. Our model achieves state-of-the-art performance in generation of abstractive keyphrases and is also comparable to the best performing extractive techniques. We also demonstrate that our method generates more diverse keyphrases and make our implementation publicly available.

연구 동기 및 목표

• 과학 논문에 대해 고품질이고 다양한 개괄적 관련어를 생성하는 데 도전하는 것.
• 생성적 적대적 네트워크(GANs)가 아직 널리 적용되지 않은 분야인 관련어 생성에 GANs의 응용을 탐색하는 것.
• 계층적 디스criminator를 사용한 적대적 훈련을 통해 기존의 추출 및 개괄적 관련어 생성 모델을 향상시키는 것.
• 자기회귀 기반 모델과 비교해 GAN 기반 생성이 더 다양한 의미적으로 관련성이 높은 관련어를 생성할 수 있음을 입증하는 것.
• 재현 가능성을 지원하고 향후 연구를 촉진하기 위해 구현 코드를 공개하는 것.

제안 방법

• 생성기는 양방향 GRU 인코더와 단방향 GRU 디코더를 갖춘 catSeq 아키텍처를 사용하며, OOV 단어를 처리하기 위해 어텐션 및 복사 메커니즘을 통합한다.
• 디스criminator는 문서와 각 관련어를 인코딩하기 위해 공유된 이중 GRU를 사용하는 계층적 어텐션 메커니즘을 적용하며, 문서에 대한 컨텍스트 인식 표현을 위해 어휘에 기반한 어텐션을 수행한다.
• 디스criminator의 최종 출력은 최종 히든 상태를 기반으로 한 시그모이드 확률이며, 관련어 시퀀스가 인간이 수작업으로 작성한 것인지 기계가 생성한 것인지 판단한다.
• 훈련은 최대 우도 기반 생성기 사전 훈련과 디스criminator의 보상 신호를 사용한 정책 기반 강화 학습을 통한 생성기 미세조정을 번갈아 수행한다.
• 보상 신호는 디스criminator의 최종 히든 상태에서 계산되며, 훈련 안정화를 위해 탐욕적 디코딩에서의 베이스라인을 사용한다.
• 과정은 반복된다: 생성된 샘플로 생성기를 훈련하고, 실제 및 생성된 관련어로 디스criminator를 재훈련하며, 수렴할 때까지 반복한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 아키텍처가 추출 기반 방법과 동등하거나 이를 초월하는 품질의 개괄적 관련어를 효과적으로 생성할 수 있는가?
• RQ2 계층적 디스criminator를 사용한 적대적 훈련이 자기회귀 모델과 비교해 관련어의 다양성과 관련성에 기여하는가?
• RQ3 다양한 벤치마크 데이터셋에서 catSeq 및 catSeq-RL과 같은 강력한 베이스라인과 비교해 제안된 GAN 기반 관련어 생성 모델의 성능은 어떠한가?
• RQ4 F1@M 및 α-nDCG@5와 같은 지표로 측정했을 때, 모델이 다양한 과학 분야에 걸쳐 얼마나 잘 일반화되는가?
• RQ5 제안된 방법이 추출 기반 또는 자기회귀 모델보다 더 다양한 관련어를 생성할 수 있는가?

주요 결과

• 제안된 GAN 모델은 개괄적 관련어 생성 분야에서 최고 성능을 기록하며, KP20k 데이터셋에서 F1@M 점수 0.045를 기록하여 catSeq 및 catSeq-RL 베이스라인을 모두 능가한다.
• KP20k 데이터셋에서 모델은 α-nDCG@5 점수 0.85로 최고 기록을 달성하여 다음으로 높은 점수를 기록한 모델보다 약 5%p 높은 성능을 보였다.
• 추출적 관련어의 경우, 모델은 최고의 베이스라인(catSeq-RL)과 유사한 성능을 보였으며, KP20k에서 F1@M 0.381을 기록했고, 최고 성능을 기록한 모델보다 略적으로 낮았다.
• 모델은 Inspec 제외 전부의 데이터셋에서 추출 기반 베이스라인보다 더 높은 F1 점수를 기록함으로써 더 다양한 관련어를 생성함을 입증했다.
• 디스criminator의 계층적 어텐션 메커니즘이 문서-관련어 관련성의 핵심을 효과적으로 포착하여 실제 관련어와 생성된 관련어를 더 잘 구분하는 데 기여했다.
• 구현 코드는 https://github.com/avinsit123/keyphrase-gan 에 공개되어 있어 재현 가능성과 향후 연구를 가능하게 한다.