[논문 리뷰] Multi-Document Keyphrase Extraction: A Literature Review and the First Dataset.

Ori Shapira, Ramakanth Pasunuru외 2명|arXiv (Cornell University)|2021. 10. 03.

Advanced Text Analysis Techniques참고 문헌 34인용 수 1

한 줄 요약

이 논문은 요약 및 문서 집합 기술에 있어 가치가 높지만 연구가 부족한 분야인 다중 문서 핵심어 추출을 위한 첫 번째 문헌 고찰 및 기준 데이터셋 MK-DUC-01을 소개한다. 저자들은 자신의 데이터셋에서 기존의 기준 모델들을 평가하여 전용 다중 문서 핵심어 추출 방법의 타당성과 필요성을 입증한다.

ABSTRACT

Keyphrase extraction has been comprehensively researched within the single-document setting, with an abundance of methods and a wealth of datasets. In contrast, multi-document keyphrase extraction has been infrequently studied, despite its utility for describing sets of documents, and its use in summarization. Moreover, no dataset existed for multi-document keyphrase extraction, hindering the progress of the task. Recent advances in multi-text processing make the task an even more appealing challenge to pursue. To initiate this pursuit, we present here the first literature review and the first dataset for the task, MK-DUC-01, which can serve as a new benchmark. We test several keyphrase extraction baselines on our data and show their results.

연구 동기 및 목표

• 다중 문서 핵심어 추출 분야의 연구 부족과 데이터셋 부족 문제를 해결하고, 요약 및 문서 집합 이해 증가에 기여하기 위해.
• 다중 문서 핵심어 추출 방법과 과제에 대한 첫 번째 종합적인 문헌 고찰을 제시하기 위해.
• 다중 문서 핵심어 추출을 위한 공개 가능한 첫 번째 데이터셋인 MK-DUC-01을 소개하기 위해.
• 새로운 데이터셋에서 기존 핵심어 추출 기준 모델의 성능을 평가하여 기준 성능 수준을 확립하기 위해.

제안 방법

• 다중 문서 핵심어 추출 방법에 중점을 두고 체계적인 문헌 고찰을 수행하여 기존 접근법의 격차와 추세를 규명하기.
• 다중 문서 컬렉션에서 MK-DUC-01 데이터셋을 구축하고, 인간이 애너테이션한 핵심어를 활용하여 관련성과 품질을 보장하기.
• 표준 핵심어 추출 기준 모델—예를 들어 TF-IDF, TextRank, YAKE—을 다중 문서 입력에 적용하여 성능 평가하기.
• 핵심어 점수 산정 이전에 다중 문서 간 정보를 통합하기 위해 문서 수준의 특징 집계를 적용하기.
• 출력에서 저품질 또는 중복된 핵심어를 제거하기 위해 정규화 및 필터링 기법을 적용하기.
• MK-DUC-01에 애너테이션된 핵심어를 기반으로 정밀도, 재현율, F1과 같은 표준 지표를 사용하여 성능 평가하기.

실험 결과

연구 질문

• RQ1 기존 다중 문서 핵심어 추출 방법에서 주요 과제와 한계는 무엇인가요?
• RQ2 기존 단일 문서 핵심어 추출 방법이 다중 문서 입력에 적응되었을 때 성능은 어떻게 되나요?
• RQ3 제안된 MK-DUC-01 데이터셋이 다중 문서 핵심어 추출 모델의 신뢰할 수 있는 기준 평가를 얼마나 잘 지원하나요?
• RQ4 단일 문서와 다중 문서 환경 간 핵심어 패턴의 주요 차이는 무엇인가요?

주요 결과

• MK-DUC-01 데이터셋은 다중 문서 핵심어 추출을 위한 첫 번째 표준 기준이 되어 재현 가능한 평가를 가능하게 한다.
• TF-IDF 및 TextRank와 같은 기준 모델은 다중 문서 환경에서 중간 정도의 성능을 보이며 향상 여지가 있음을 시사한다.
• YAKE는 데이터셋에서 상대적으로 양호한 성능을 보이며, 비지도이고 언어에 종속되지 않는 특징 학습 덕분에 다중 문서 입력에 강건함을 보여준다.
• 결과는 다중 문서 핵심어 추출이 단순히 단일 문서 방법을 적응하는 것 외에 별도의 모델링 전략이 필요하다는 것을 강조한다.
• 문헌 고찰 결과, 실용적 중요성에도 불구하고 다중 문서 환경을 다룬 연구는 소수에 그치며 상당한 연구 격차가 있음을 드러냈다.
• 데이터셋과 기준 모델 결과는 다중 문서 핵심어 추출 분야의 향후 연구를 위한 기반을 마련한다.