[논문 리뷰] Does Order Matter? An Empirical Study on Generating Multiple Keyphrases as a Sequence

Rui Meng, Xingdi Yuan외 4명|arXiv (Cornell University)|2019. 09. 09.

Advanced Text Analysis Techniques참고 문헌 20인용 수 17

한 줄 요약

이 논문은 순서 기반 키워드 생성에서 어휘 순서가 미치는 영향을 조사하며, 다중 키워드를 결합하기 위한 여섯 가지 연결 전략을 제안한다. 'Appear-Ap' 순서—소스에서 첫 번째로 나타나는 순서로 정렬하고, 존재하지 않는 키워드는 뒤에 추가하는 방식—가 가장 높은 성능을 보이며, F1@10 점수는 0.347을 기록한다. 또한 비드 폭과 모델 복잡도가 훈련 안정성과 추상화 능력에 중요한 요소로 작용함을 밝힌다.

ABSTRACT

Recently, concatenating multiple keyphrases as a target sequence has been proposed as a new learning paradigm for keyphrase generation. Existing studies concatenate target keyphrases in different orders but no study has examined the effects of ordering on models' behavior. In this paper, we propose several orderings for concatenation and inspect the important factors for training a successful keyphrase generation model. By running comprehensive comparisons, we observe one preferable ordering and summarize a number of empirical findings and challenges, which can shed light on future research on this line of work.

연구 동기 및 목표

• 다양한 키워드 순서 전략이 순서 기반 키워드 생성에서 모델 성능에 미치는 영향을 조사하기 위해.
• One2Seq 키워드 생성에서 일반화 능력과 훈련 안정성을 향상시키는 최적의 어휘 순서를 규명하기 위해.
• 비드 폭과 모델 복잡도가 존재하는 키워드 및 존재하지 않는 키워드 생성에 미치는 영향을 평가하기 위해.
• 순서 기반 키워드 생성 모델에서 추출 능력과 추상화 능력 사이의 상호 상충 관계를 검토하기 위해.
• 키워드 생성의 비드 서치 디코딩에서 낮은 다양성과 높은 중복성 문제를 해결하기 위해.

제안 방법

• Random, No-Sort, Length, Alpha, Appear-Pre, Appear-Ap의 여섯 가지 어휘 순서 전략을 제안하여 다중 키워드를 하나의 시퀀스로 결합한다.
• 훈련 및 디코딩을 위해 포인터-생성기와 커버리지 메커니즘을 갖춘 시퀀스 투 시퀀스 모델을 사용한다.
• 비드 서치를 사용하여 비드 폭(10, 25, 50)을 다양하게 설정해 하나의 시퀀스 출력에서 다수의 후보 키워드를 생성한다.
• 현존 키워드 생성에서 F1@5와 F1@10 지표를 사용해 다양한 순서 전략 간의 모델 성능을 비교한다.
• 더 큰 모델을 사용하여 존재하지 않는 키워드에 대해 Recall@10과 Recall@50 지표를 활용해 추상화 능력을 평가한다.
• BaseRNN, BigRNN, Transformer의 세 가지 모델 아키텍처를 사용해 모델 복잡도가 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 목표 시퀀스 내 키워드 순서가 순서 기반 키워드 생성에서 모델 성능에 유의미한 영향을 미치는가?
• RQ2 Random, No-Sort, Length, Alpha, Appear-Pre, Appear-Ap 중 어떤 어휘 순서 전략이 현존 키워드 생성에서 가장 높은 F1 점수를 낼 수 있는가?
• RQ3 비드 폭이 다양한 순서 전략에서 One2Seq 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 모델 복잡도를 증가시켜(예: BigRNN, Transformer) 현존 및 존재하지 않는 키워드 생성 성능이 향상되는가?
• RQ5 결합된 어휘를 사용해 훈련할 경우, 모델의 추상화 능력 향상과 추출 능력 향상 사이의 균형은 어느 정도 이루어지는가?

주요 결과

• 소스에서 첫 번째로 나타나는 순서로 정렬하고, 존재하지 않는 어휘는 뒤에 추가하는 'Appear-Ap' 순서 전략이 비드 폭 50일 때 F1@10 점수 0.347을 기록하며 가장 높은 성능을 보였다.
• 비드 폭 50은 모든 순서 전략에서 일관되게 성능을 향상시켰으며, 성능 격차를 줄이고 안정성을 높였고, 특히 F1@10에서 두드러진 효과를 보였다.
• BaseRNN 모델과 비교해 모델 복잡도(예: BigRNN, Transformer)가 현존 키워드 생성 성능 향상에 유의미한 영향을 주지 않았다.
• 결합된 어휘로 훈련된 One2Seq 모델는 강력한 추출 능력을 보였지만 추상화 능력은 떨어졌으며, 비드 폭 50일지라도 존재하지 않는 키워드에 대해 Recall@50가 0.07 이하였다.
• Transformer 모델은 모든 모델 중에서 가장 높은 Recall@10(0.070)과 Recall@50(0.071)을 기록해, 현존 어휘의 F1 점수는 낮지만 더 나은 추상화 능력을 보였다.
• 비드 크기가 10인 과다 생성은 고유한 키워드의 20% 미만을 생성했으며, 이는 순서 기반 키워드 생성의 디코딩 다양성 문제를 보여주는 주요 과제였다.