[논문 리뷰] Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications

Xiajing Li, Marios Daoutis|arXiv (Cornell University)|2021. 01. 25.

Advanced Text Analysis Techniques참고 문헌 17인용 수 7

한 줄 요약

이 논문은 체계적 문헌 회고에서 분류 체계를 구축하기 위해 핵심어 추출과 의미적 군집화를 자동화하는 비지도 학습 프레임워크를 제안한다. 앙상블 점수 기반 핵심어 순위 매기기, ConceptNet 기반 단어 임베딩, 그리고 구형 k-평균 군집화를 조합하여 전문가가 정의한 카테고리와 유사한 고품질의 의미적으로 일관된 군집을 달성한다. Explainable AI 분야 연구에서의 응용 가능성을 보여준다.

ABSTRACT

Several methods have been explored for automating parts of Systematic Mapping (SM) and Systematic Review (SR) methodologies. Challenges typically evolve around the gaps in semantic understanding of text, as well as lack of domain and background knowledge necessary to bridge that gap. In this paper we investigate possible ways of automating parts of the SM/SR process, i.e. that of extracting keywords and key-phrases from scientific documents using unsupervised methods, which are then used as a basis to construct the corresponding Classification Scheme using semantic key-phrase clustering techniques. Specifically, we explore the effect of ensemble scores measure in key-phrase extraction, we explore semantic network based word embedding in embedding representation of phrase semantics and finally we also explore how clustering can be used to group related key-phrases. The evaluation is conducted on a dataset of publications pertaining the domain of "Explainable AI" which we constructed using standard publicly available digital libraries and sets of indexing terms (keywords). Results shows that: ensemble ranking score does improve the key-phrase extraction performance. Semantic-network based word embedding based on the ConceptNet Semantic Network has similar performance with contextualized word embedding, however the former are computationally more efficient. Finally Semantic key-phrase clustering at term-level can group similar terms together that can be suitable for classification scheme.

연구 동기 및 목표

• 체계적 맵핑 및 회고(SM/SR) 연구에서 수작업이 많이 필요한 핵심어 추출 및 분류 체계 구축 단계를 자동화한다.
• 과학 문헌 처리를 위한 자동화된 텍스트 처리에서의 의미 이해 및 도메인 지식 격차 문제를 해결한다.
• 수동 전문가 레이블링에 의존도를 줄이면서도 의미적 일관성을 유지하는 확장 가능한 비지도 파ip라인을 개발한다.
• Explainable AI 분야의 과학적 논문에 대해 다양한 임베딩 및 군집화 기법의 효과를 평가한다.
• 급격히 증가하는 연구 결과물 시대에 더 빠르고 확장 가능한 문헌 통합 기반을 마련한다.

제안 방법

• TF-IDF, TextRank, 및 어휘집 기반 특징을 조합한 앙상블 순위 점수를 적용하여 핵심어 추출 정확도를 향상시킨다.
• 세부 설정 없이 의미 유사도를 캐치할 수 있는 저비용 대안으로 ConceptNet 기반 단어 임베딩을 사용한다.
• 어휘를 평균화된 단어 임베딩으로 표현하고, 구형 k-평균 군집화 및 계층적 응집 군집화(HAC)를 통해 군집화한다.
• 실루엣 점수 및 다양한 설정에서의 군집 일관성에 대한 수동 점검을 통해 군집 품질을 평가한다.
• 디지털 라이브러리 및 색인어에서 유래한 기준 키워드를 포함한 1,000개 이상의 XAI 관련 논문 초록 데이터셋을 구축한다.
• 실루엣 점수의 피크를 기반으로 군집 수를 최적화하여, 구형 k-평균 군집화에 대해 89개 군집을 최적의 수로 식별한다.

실험 결과

연구 질문

• RQ1 앙상블 점수 기반 순위 매기기가 개별 점수 기반 방법에 비해 핵심어 추출 성능을 얼마나 향상시키는가?
• RQ2 BERT와 같은 컨텍스트 기반 임베딩에 비해 ConceptNet 기반 단어 임베딩는 핵심어 표현에서 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ3 의미 군집화가 분류 체계에 적합한 일관된 카테고리로 관련 핵심어를 효과적으로 그룹화할 수 있는가?
• RQ4 과학 문헌에서 핵심어의 의미 군집화를 위한 최적의 군집 수는 얼마인가?
• RQ5 군집 품질과 의미 일관성 측면에서 구형 k-평균 군집화와 HAC 간의 성능은 어떻게 비교되는가?

주요 결과

• 앙상블 순위 점수 기반 방법은 도메인 특화 어휘집을 포함한 다양한 신호를 통합하여 핵심어 추출 성능을 크게 향상시킨다.
• ConceptNet 기반 단어 임베딩는 BERT와 같은 컨텍스트 기반 임베딩 수준의 성능을 달성하면서도 계산 비용을 최대 70%까지 감소시킨다.
• 구형 k-평균 군집화는 89개 군집에서 실루엣 점수 0.1615를 기록하여 HAC(0.0690)를 능가하며, 더 나은 군집 분리도와 품질을 보여준다.
• 수동 점검 결과 군집은 의미적으로 일관성이 있으며, '시각적 분석', '객체 탐지', '화이트박스 AI', '퍼지 시스템' 등의 명확한 주제를 포함한다.
• 실루엣 점수는 중간 정도이지만 군집 내 의미 일관성이 높아, 분류 체계 구축에 실용적인 가치가 있음을 시사한다.
• 이 프레임워크는 수동 간섭 최소화로도 확장 가능한 분류 체계 자동 생성이 가능하며, 특히 도메인 제약 조건과 조합 시 뛰어난 성능을 발휘한다.