[논문 리뷰] Generating Diverse Numbers of Diverse Keyphrases.

Xingdi Yuan, Tong Wang외 4명|arXiv (Cornell University)|2018. 10. 11.

Advanced Text Analysis Techniques참고 문헌 32인용 수 14

한 줄 요약

이 논문은 텍스트에서 다양하고 길이가 변하는 키워드 집합을 생성하기 위해 순차적 생성 중 다양성을 향상시키기 위한 전용 모듈을 통합한 순환 생성 모델을 제안한다. StackExchange와 TextWorld ACG를 포함한 세 개의 데이터셋에서 평가된 결과, 기존의 고정 길이 평가 지표와 제안된 변형 길이 평가 지표를 모두 사용하여 베이스라인을 능가하며, 고정된 출력 길이 제약 없이 다양하고 맥락적으로 관련성이 높은 키워드를 생성하는 데서 뛰어난 성능을 보여준다.

ABSTRACT

Existing keyphrase generation studies suffer from the problems of generating duplicate phrases and deficient evaluation based on a fixed number of predicted phrases. We propose a recurrent generative model that generates multiple keyphrases sequentially from a text, with specific modules that promote generation diversity. We further propose two new metrics that consider a variable number of phrases. With both existing and proposed evaluation setups, our model demonstrates superior performance to baselines on three types of keyphrase generation datasets, including two newly introduced in this work: StackExchange and TextWorld ACG. In contrast to previous keyphrase generation approaches, our model generates sets of diverse keyphrases of a variable number.

연구 동기 및 목표

• 기존의 키워드 생성 모델이 중복된 표현을 생성하고 고정된 출력 길이 평가에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 출력 수가 변하는 다양한 키워드 집합을 생성할 수 있는 생성 모델을 개발하기 위해.
• 길이가 변하는 키워드 집합을 고려한 새로운 평가 지표를 제안하여, 고정 길이 기준 평가를 넘어서는 보다 정교한 평가를 가능하게 하기 위해.
• 기존 및 새로 도입된 데이터셋, 특히 StackExchange와 TextWorld ACG를 대상으로 모델을 평가하여 성능의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 키워드를 순차적으로 생성하기 위해 순환 신경망 아키텍처를 사용하여 생성된 키워드 수를 동적으로 제어할 수 있도록 한다.
• 생성된 키워드 간의 다양성을 적극적으로 증진하기 위해 특정 모듈을 모델에 통합한다.
• 입력 텍스트의 관련 부분에 주의를 기울일 수 있도록 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 프레임워크를 기반으로 엔드 투 엔드로 학습한다.
• 예측된 키워드 수가 변할 수 있는 경우를 고려한 두 가지 새로운 평가 지표를 제안하여, 출력 길이가 다른 모델 간의 공정한 비교를 가능하게 한다.
• 세 개의 데이터셋—기존 벤치마크 두 개와 새로 도입된 데이터셋 두 개인 StackExchange와 TextWorld ACG—에서 모델를 미세조정하고 평가한다.
• 중복되거나 겹치는 키워드를 생성하는 것을 막기 위해 다양성 정규화를 학습 목표에 통합한다.

실험 결과

연구 질문

• RQ1 고정된 출력 길이 제약 없이 생성 모델이 다양하고 반복되지 않는 키워드를 생성할 수 있는가?
• RQ2 다양한 데이터셋에서 기존의 베이스라인과 비교해 볼 때, 제안된 모델은 키워드의 다양성과 관련성 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 변형 길이 평가 지표는 키워드 생성에서 모델 간 비교의 공정성과 정확성을 얼마나 향상시키는가?
• RQ4 새로 도입된 StackExchange와 TextWorld ACG 데이터셋을 통해 새로운 도메인에 대해 잘 일반화되는가?
• RQ5 제안된 다양성 증진 모듈은 중복 키워드 생성을 얼마나 효과적으로 줄이는가?

주요 결과

• 제안된 모델은 새로 도입된 StackExchange와 TextWorld ACG를 포함한 세 개의 데이터셋 전반에서 기존의 베이스라인을 능가하는 뛰어난 성능을 달성한다.
• 반복 횟수 감소와 더불어 독립된 개념을 더 잘 커버함으로써 측정된 바에 비추어 볼 때, 키워드 집합의 다양성이 크게 향상된다.
• 제안된 평가 지표는 출력 길이가 다른 모델 간의 성능 차이를 효과적으로 파악하여, 고정 길이 기준 평가보다 더 정확한 평가를 가능하게 한다.
• 새로운 StackExchange와 TextWorld ACG 데이터셋에서 모델는 뛰어난 일반화 능력과 강건성을 보이며, 다양성과 관련성 측면에서 기존 방법을 능가한다.
• 다양성 증진 모듈의 통합으로 중복 키워드 생성이 명백하게 감소함을 확인하여, 생성 과정에서의 효과성을 입증한다.