[논문 리뷰] Semi-Supervised Learning for Neural Keyphrase Generation

Hai Ye, Lu Wang|arXiv (Cornell University)|2018. 08. 21.

Advanced Text Analysis Techniques참고 문헌 41인용 수 13

한 줄 요약

이 논문은 레이블이 부족한 상황에서 성능을 햖스키우기 위해 대규모의 레이블이 없는 문서를 활용하는 신경 키워드 생성을 위한 준지도 학습 방법을 제안한다. 비지도 추출 또는 자기학습을 통해 생성한 합성 키워드를 사용하고, 키워드 생성과 제목 생성을 함께 학습하는 다중 과제 학습 프레임워크를 통해, 특히 자원이 부족한 환경과 도메인 간 전이 상황에서 완전히 지도 학습된 모델보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of generating keyphrases that summarize the key points for a given document. While sequence-to-sequence (seq2seq) models have achieved remarkable performance on this task (Meng et al., 2017), model training often relies on large amounts of labeled data, which is only applicable to resource-rich domains. In this paper, we propose semi-supervised keyphrase generation methods by leveraging both labeled data and large-scale unlabeled samples for learning. Two strategies are proposed. First, unlabeled documents are first tagged with synthetic keyphrases obtained from unsupervised keyphrase extraction methods or a selflearning algorithm, and then combined with labeled samples for training. Furthermore, we investigate a multi-task learning framework to jointly learn to generate keyphrases as well as the titles of the articles. Experimental results show that our semi-supervised learning-based methods outperform a state-of-the-art model trained with labeled data only.

연구 동기 및 목표

• 자원이 부족한 도메인에서 모델 성능을 제한하는 레이블이 부족한 데이터 문제를 해결한다.
• 다량의 레이블이 없는 문서를 활용하여 인간의 주석이 필요 없이 키워드 생성 성능을 향상시키기 위해 준지도 학습을 탐색한다.
• 레이블이 없는 데이터가 도메인 간 전이를 포함하여 모델의 일반화 능력과 성능 향상에 기여할 수 있는지 조사한다.
• 대규모 레이블이 있는 데이터셋이 이미 존재하는 경우에도 준지도 학습 방법의 효과성을 평가하여 확장성과 강건성을 점검한다.
• 레이블이 없는 데이터로부터 공유 표현을 활용하기 위해 키워드 생성과 제목 생성을 함께 학습하는 다중 과제 학습 프레임워크를 개발한다.

제안 방법

• TF-IDF와 TextRank와 같은 비지도 방법을 사용해 레이블이 없는 문서에 대한 합성 키워드를 생성한다.
• 반복적으로 레이블이 없는 데이터에서 예측된 합성 키워드를 개선하고 확장하는 자기학습 알고리즘을 적용한다.
• 레이블이 있는 예제와 합성 키워드가 포함된 문서의 혼합 데이터셋으로 시퀀스 투 시퀀스 모델을 사전 학습한다.
• 목표 작업에 맞게 레이블이 있는 데이터로만 미세 조정하여 모델을 적응시킨다.
• 키워드 생성(레이블이 있는 데이터에서)과 제목 생성(레이블이 없는 데이터에서) 간에 공유되는 인코더를 사용하는 다중 과제 학습 프레임워크를 설계한다.
• 공유된 맥락 이해를 통해 표현 학습과 일반화 능력을 향상시키기 위해 통합 목표를 통해 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 비지도 방법으로 유도한 합성 키워드가 제한된 레이블이 있는 데이터와 조합되었을 때 신경 키워드 생성 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 레이블이 없는 문서에서 키워드 생성과 제목 생성을 함께 학습하는 다중 과제 학습 프레임워크가 단순 지도 학습보다 더 높은 성능을 낼 수 있는가?
• RQ3 예를 들어 과학 논문에서 학습한 모델이 뉴스 기사에 대해 키워드를 생성할 때, 제안된 준지도 학습 접근법이 도메인 간 전이 상황에서 얼마나 효과적인가?
• RQ4 대규모 레이블이 있는 데이터셋이 이미 존재하는 상황에서도 레이블이 없는 데이터가 성능 향상에 기여할 수 있는가?
• RQ5 제안된 방법이 입력 문서에 존재하지 않는 키워드(누락된 키워드)의 생성 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 준지도 학습 방법은 다섯 개인 과학 논문 데이터셋에서 최신 지도 학습 모델(Meng et al., 2017)보다 유의하게 뛰어나며, F1@5와 F1@10 점수는 각각 최대 0.039와 0.046 향상되었다.
• KP20k 데이터셋에서 다중 과제 학습 접근법은 F1@5 점수 0.328과 F1@10 점수 0.264를 기록하여 기준 seq2seq-copy 모델보다 유의미하게 높은 성능(유의수준 p < 0.01)을 보였다.
• DUC 뉴스 기사 데이터셋에서 과학 논문으로 학습한 모델이 뉴스 기사의 레이블이 없는 데이터로 미세 조정된 결과, 단순 지도 학습 기반 베이스라인보다 더 높은 F1 점수를 기록하여 도메인 간 일반화 능력을 입증했다.
• 13만 개의 레이블이 있는 쌍이 존재하는 상황에서도 40만 개의 레이블이 없는 문서를 포함시킴으로써, 존재하는 키워드와 누락된 키워드 생성 모두에서 성능 향상이 측정되었으며, Recall@10 점수는 최대 0.046 향상되었다.
• 자기학습 기반의 합성 키워드 생성 방법이 모든 합성 키워드 전략 중에서 가장 뛰어난 성능을 보였으며, Inspec 데이터셋에서 F1@5 점수는 0.321에 도달했다.
• 결과는 레이블이 없는 데이터가 자원이 풍부한 환경에서도 모델의 일반화 능력을 일관되게 향상시킨다는 점을 시사하며, 제안된 준지도 학습 프레임워크의 광범위한 적용 가능성을 시사한다.