[논문 리뷰] One Size Does Not Fit All: Generating and Evaluating Variable Number of Keyphrases

Xingdi Yuan, Tong Wang외 5명|arXiv (Cornell University)|2018. 10. 11.

Advanced Text Analysis Techniques참고 문헌 40인용 수 10

한 줄 요약

이 논문은 목표 인코더와 직교 정규화를 통해 키포인트 수를 동적으로 제어하고 다양성을 향상시키는 순서-순서 모델을 제안한다. 변수 길이 출력을 위한 맞춤형 평가 지표인 F₁@𝒪 및 F₁@ℳ를 도입하였으며, 스택 오버플로우에서 유래한 새로운 데이터셋인 StackEx를 제시하여 KP20k 및 SemEval을 포함한 여러 벤치마크에서 기존 모델들을 능가하는 성능을 보였다.

ABSTRACT

Different texts shall by nature correspond to different number of keyphrases. This desideratum is largely missing from existing neural keyphrase generation models. In this study, we address this problem from both modeling and evaluation perspectives. We first propose a recurrent generative model that generates multiple keyphrases as delimiter-separated sequences. Generation diversity is further enhanced with two novel techniques by manipulating decoder hidden states. In contrast to previous approaches, our model is capable of generating diverse keyphrases and controlling number of outputs. We further propose two evaluation metrics tailored towards the variable-number generation. We also introduce a new dataset StackEx that expands beyond the only existing genre (i.e., academic writing) in keyphrase generation tasks. With both previous and new evaluation metrics, our model outperforms strong baselines on all datasets.

연구 동기 및 목표

• 기존 신경망 기반 키포인트 생성 모델에서 동적 키포인트 수 제어의 부재를 해결한다.
• 목표 인코더와 직교 정규화를 통해 디코더 은닉 상태를 조작하여 생성 다양성을 향상시킨다.
• 고정된 k가 아닌 변수 수의 키포인트 출력을 고려한 새로운 평가 지표(F₁@𝒪 및 F₁@ℳ)를 제안한다.
• 학술 텍스트를 초월하여 커뮤니티 기반의 스택 오버플로우에서 유래한 새로운 키포인트 생성 데이터셋인 StackEx를 소개한다.
• 고정된 k를 사용하는 빔 서치가 정규화 문제로 인해 최적화되지 않으며, 변수 길이 설정에서는 그레디 서치가 빔 서치를 능가할 수 있음을 보여준다.

제안 방법

• 구성된 순서-순서 모델을 사용하여 구분자로 분리된 시퀀스로서 다수의 키포인트를 생성한다.
• 구문 수준의 표현을 모델링하고 디코더 은닉 상태의 다양성을 향상시키기 위해 목표 인코더를 도입한다.
• 디코더의 은닉 상태 전이에 직교 정규화를 적용하여 다양성을 장려하고 붕괴를 방지한다.
• 사전에 k를 정의하지 않고도 동적 출력 길이를 허용하는 자기 종료 디코딩 전략을 채택한다.
• 변수 크기의 출력에 적합하게 조정된 두 가지 새로운 평가 지표를 설계: F₁@𝒪(오라클 기반) 및 F₁@ℳ(모델 기반)
• 빔 서치와 그레디 디코딩을 비교하기 위해 기존 데이터셋(KP20k, Inspec 등)과 새로운 StackEx 데이터셋 모두에서 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 고정된 k 기반 빔 서치에 의존하지 않고도 신경망 모델이 변수 수의 키포인트를 생성할 수 있는가?
• RQ2 목표 인코딩과 직교 정규화는 생성된 키포인트의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 고정된 k(예: 5 또는 10)로 평가하는 표준 관행이 편향되거나 오해의 소지가 있는 성능 비교를 초래하는가?
• RQ4 변수 출력 크기를 고려한 새로운 평가 지표는 키포인트 생성에서 모델 비교의 신뢰성을 향상시키는가?
• RQ5 학술 텍스트를 초월해 커뮤니티 기반의 데이터셋인 StackEx는 기존 학술 데이터셋과 비교해 키포인트 분포 및 모델 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• 제안된 모델 CatSeqD는 KP20k, Inspec, Krapivin, NUS, SemEval을 포함한 모든 데이터셋에서 강력한 베이스라인을 능가하며, KP20k에서 F₁@𝒪 점수가 최대 35.7에 이르렀다.
• 제거 실험 결과, 목표 인코더를 통한 의미적 커버리지가 성능 향상에 크게 기여하는 것으로 나타났으며, 직교 정규화만 적용할 경우 성능 저하가 발생하지만, 의미적 커버리지와 함께 적용할 경우 KP20k에서 최대 4.0점 향상되는 것으로 확인되었다.
• 그레디 서치가 변수 수 생성 설정에서 빔 서치를 능가함을 확인하여, 빔 서치가 동적 출력 길이에서 짧고 중복된 시퀀스를 생성하는 경향이 있음을 시사한다.
• 모델은 평균적으로 89.70개의 고유한 어휘를 생성했으며(빔 크기 50), CatSeq 대비 20.38개에 그치는 것으로 확인되어, 목표 인코딩과 직교 정규화가 다양성을 향상시킴을 입증한다.
• 디코더 은닉 상태의 t-SNE 시각화 결과, CatSeqD는 잘 분리된 클러스터를 생성하여 더 명확하고 다양한 디코딩 상태를 보였고, CatSeq는 조밀하고 구분이 어려운 클러스터를 형성하였다.
• 새로운 StackEx 데이터셋은 샘플당 평균 2.7개의 키포인트(분산 1.4)를 가지며, 학술 데이터셋(평균 5.3~15.7)과는 뚜렷이 대비되어 더 넓은 장르 다양성과 실제 적용 가능성을 보여준다.