[논문 리뷰] FRAKE: Fusional Real-time Automatic Keyword Extraction

Aidin Zehtab-Salmasi, Mohammad‐Reza Feizi‐Derakhshi외 1명|arXiv (Cornell University)|2021. 04. 10.

Advanced Text Analysis Techniques참고 문헌 25인용 수 6

한 줄 요약

FRAKE는 그래프 중심성 특징(도수, 중심성, 고유벡터, 밀도)과 텍스트 특징(품사 태깅, 어간 빈도, 대소문자, 위치, 문장 간 다양성)을 융합하는 새로운 융합적 접근 방식으로, 실시간 자동 关련어 추출을 위해 개발되었다. 이는 7개의 데이터셋(영어 및 비영어 텍스트 포함)에서 최신 기술 대비 평균 F1 점수 16.9% 향상시켰다.

ABSTRACT

Keyword extraction is the process of identifying the words or phrases that express the main concepts of text to the best of one's ability. Electronic infrastructure creates a considerable amount of text every day and at all times. This massive volume of documents makes it practically impossible for human resources to study and manage them. Nevertheless, the need for these documents to be accessed efficiently and effectively is evident in numerous purposes. A blog, news article, or technical note is considered a relatively long text since the reader aims to learn the subject based on keywords or topics. Our approach consists of a combination of two models: graph centrality features and textural features. The proposed method has been used to extract the best keyword among the candidate keywords with an optimal combination of graph centralities, such as degree, betweenness, eigenvector, closeness centrality and etc, and textural, such as Casing, Term position, Term frequency normalization, Term different sentence, Part Of Speech tagging. There have also been attempts to distinguish keywords from candidate phrases and consider them on separate keywords. For evaluating the proposed method, seven datasets were used: Semeval2010, SemEval2017, Inspec, fao30, Thesis100, pak2018, and Wikinews, with results reported as Precision, Recall, and F- measure. Our proposed method performed much better in terms of evaluation metrics in all reviewed datasets compared with available methods in literature. An approximate 16.9% increase was witnessed in F-score metric and this was much more for the Inspec in English datasets and WikiNews in forgone languages.

연구 동기 및 목표

• 지속적으로 생성되는 대량의 텍스트에서 실시간으로 의미 있는 관련어를 효율적으로 추출하는 데 도전한다.
• 기존 관련어 추출 방법이 단일 특징 기반(텍스트 또는 그래프 기반)에 의존하는 한계를 극복하기 위해 상보적인 강점을 융합한다.
• 다양한 텍스트 유형과 언어에서 정밀도, 재현율, F1 점수 측면에서 관련어 추출 성능을 향상시킨다.
• 장문의 문서와 다국어 콘텐츠를 고정밀도로 처리할 수 있는 확장성 있고 실시간 시스템을 개발한다.

제안 방법

• 이 방법은 전처리, 그래프 기반 및 텍스트 특징 추출, 점수 계산, 핵심어 구절 생성, 순위 매기기의 다섯 단계를 거친다.
• 그래프 특징은 도수, 중심성, 고유벡터, 밀도 중심성 측정을 통해 단어 공존 네트워크에서 유도된다.
• 텍스트 특징에는 품사 태깅, 단어의 대소문자, 문장 내 위치, 문장 간 다양성, 정규화된 어간 빈도가 포함된다.
• 특징 점수는 가중 융합 전략을 사용하여 최종 관련어 점수를 계산한다.
• 후보 구절은 명사구 추출을 통해 생성되며, 융합된 점수 기반으로 순위가 매겨진다.
• 시스템은 실시간 처리를 위해 설계되어 스트리밍 또는 대규모 텍스트에서 즉각적인 관련어 추출이 가능하다.

실험 결과

연구 질문

• RQ1 그래프 기반 및 텍스트 특징의 하이브리드 융합이 단일 기반 방법에 비해 관련어 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 제안된 FRAKE 모델은 장문의 문서와 다국어 텍스트를 포함한 다양한 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ3 다양한 중심성 측정치와 언어학적 특징의 융합이 정밀도, 재현율, F1 점수 향상에 얼마나 기여하는가?
• RQ4 학술 논문과 같이 관련어 비율이 낮은 문서에서도 FRAKE는 우수한 성능을 유지하는가?
• RQ5 실시간 및 확장 가능한 관련어 추출에서 FRAKE는 YAKE, TextRank, KP-Miner와 같은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• FRAKE는 SemEval2010, SemEval2017, Inspec, FAO30, Thesis100, Pak2018, WikiNews의 7개 벤치마크 데이터셋 전부에서 가장 높은 F1 점수를 기록했다.
• 기존 최신 기술 대비 평균 F1 점수 16.9% 향상되었으며, 특히 영어 데이터셋(Inspec)과 비영어 데이터셋(WikiNews)에서 가장 큰 향상을 보였다.
• Inspec 데이터셋에서 FRAKE는 F1 점수 0.589를 기록하여 다음으로 우수한 방법인 MultiPartite Rank(0.480)보다 0.109점 높게 기록했다.
• WikiNews에서는 F1 점수 0.550을 기록하여 YAKE(0.153)와 TextRank(0.098)를 크게 앞서며 강력한 다국어 처리 능력을 입증했다.
• 장문이면서 관련어 비율이 낮은 Thesis100 데이터셋에서는 성능이 낮았지만(F1 = 0.272), 여전히 3위를 기록하여 도전적인 조건에서도 강건함을 입증했다.
• 그래프 특징과 텍스트 특징의 융합은 순수 그래프 또는 텍스트 기반 모델보다 더 효과적이었으며, 관련어 추출에서 하이브리드 설계의 가치를 확인했다.