[논문 리뷰] SemRe-Rank: Incorporating Semantic Relatedness to Improve Automatic Term Extraction Using Personalized PageRank.

Ziqi Zhang, Jie Gao외 1명|arXiv (Cornell University)|2017. 11. 09.

Advanced Text Analysis Techniques참고 문헌 65인용 수 4

한 줄 요약

SemRe-Rank는 기존의 자동 용어 추출(Automated Term Extraction, ATE) 방법에 의미적 유사도를 통합하여 개인화된 PageRank 프레임워크를 활용해 의미적 중요도 점수를 계산함으로써 용어 후보의 순위를 개선한다. 13개의 최첨단 ATE 방법과 네 가지 다양한 데이터셋에서 평가한 결과, 상위 K개 용어의 정밀도에서 최대 0.15 향상되고 F1 점수에서 최대 0.28 향상되어 일관되고 뚜렷한 성능 향상을 보였다.

ABSTRACT

Automatic Term Extraction deals with the extraction of terminology from a domain specific corpus, and has long been an established research area in data and knowledge acquisition. ATE remains a challenging task as it is known that no existing methods can consistently outperforms others in all domains. This work adopts a different strategy towards this problem as we propose to 'enhance' existing ATE methods instead of 'replace' them. We introduce SemRe-Rank, a generic method based on the concept of incorporating semantic relatedness - an often overlooked venue - into an existing ATE method to further improve its performance. SemRe-Rank applies a personalized PageRank process to a semantic relatedness graph of words to compute their 'semantic importance' scores, which are then used to revise the scores of term candidates computed by a base ATE algorithm. Extensively evaluated with 13 state-of-the-art ATE methods on four datasets of diverse nature, it is shown to have achieved widespread improvement over all methods and across all datasets. The best performing variants of SemRe-Rank have achieved, on some datasets, an improvement of 0.15 (on a scale of 0 ~ 1.0) in terms of the precision in the top ranked K term candidates, and an improvement of 0.28 in terms of overall F1.

연구 동기 및 목표

• 다양한 도메인에서 기존 ATE 방법의 성능이 일관되지 않은 문제를 해결하기 위해.
• 기존 ATE 시스템의 용어 후보 순위 향상에 의미적 유사도를 통합할 수 있는지 탐색하기 위해.
• 기본 알고리즘을 대체하지 않고도 ATE 성능을 향상시킬 수 있는 일반적이고 플러그인 방식의 보완 방법을 개발하기 위해.
• 다양한 도메인과 다수의 최첨단 ATE 기반 방법을 대상으로 평가하여 광범위한 적용 가능성을 확보하기 위해.

제안 방법

• 노드가 단어를 나타내고, 간선이 의미적 유사도 점수를 나타내는 의미적 유사도 그래프를 구축한다.
• 용어 후보를 시드 노드로 사용하여 그래프에 개인화된 PageRank를 적용하여 의미적 중요도 점수를 계산한다.
• 계산된 의미적 중요도 점수를 기본 ATE 알고리즘의 점수 함수에 통합하여 용어 후보를 재순위 매긴다.
• 수정된 점수를 사용하여 최종 용어 순위를 산출함으로써 상위 순위 용어의 관련성을 향상시킨다.
• 이 방법은 기존 ATE 알고리즘이 초기 용어 점수를 생성하는 한, 어떤 알고리즘과도 호환되는 일반적인 방법으로 설계되었다.
• 사전에 훈련된 단어 임베딩 또는 의미적 유사도 측정 방법을 활용하여 의미적 유사도 그래프를 구성한다.

실험 결과

연구 질문

• RQ1 기존 ATE 방법에 의미적 유사도를 통합하면 다양한 도메인에서 일관된 성능 향상이 이루어지는가?
• RQ2 개인화된 PageRank를 통한 의미적 중요도 통합이 상위 순위 용어 후보의 정밀도에 어떤 영향을 미치는가?
• RQ3 기본 ATE 방법에 비해 SemRe-Rank가 전체 F1 점수를 어느 정도 향상시키는가?
• RQ4 다양한 ATE 알고리즘과 다양한 데이터셋에서 이 보완 방법의 효과가 유지되는가?
• RQ5 성능 향상은 의미적 풍부화 때문인가, 아니면 단순히 점수 정규화 때문인가?

주요 결과

• SemRe-Rank는 다수의 데이터셋에서 상위 K개의 용어 후보에 대해 평균 0.15의 정밀도 향상을 달성했다.
• 일부 데이터셋에서는 전체 F1 점수를 최대 0.28 향상시켜 용어 추출 품질 향상이 뚜렷하게 나타났다.
• 평가된 13개의 최첨단 ATE 방법 전반에서 성능 향상이 일관되게 나타나 광범위한 호환성을 입증했다.
• SemRe-Rank의 최고 성능를 보인 변종은 네 가지 다양한 데이터셋에서 모두 측정 가능한 향상을 보였으며, 이는 강건성을 확인한다.
• 기본 ATE 알고리즘을 수정하지 않고도 의미적 유사도 통합이 용어 순위 향상에 뚜렷한 영향을 미쳤다.