[논문 리뷰] Open Domain Web Keyphrase Extraction Beyond Language Modeling

Lee Xiong, Chuan Hu외 3명|arXiv (Cornell University)|2019. 11. 06.

Advanced Text Analysis Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 100,000건의 웹 문서와 전문가가 작성한 키워드를 포함한 대규모 개방형 키워드 추출 데이터셋인 OpenKP를 소개하며, 언어 모델링을 넘어서 시각적 문서 특징과 검색 쿼리 클릭에 기반한 약한 지도 학습을 통합한 신경망 모델인 BLING-KPE를 제안한다. BLING-KPE는 기존 방법들을 크게 앞서며, 뉴스와 같은 미사전처리된 도메인에 대해서도 강력한 zero-shot 일반화 성능을 보이며, 과학 데이터에 대해 훈련된 전용 신경망 모델조차도 뛰어넘는 성능을 보인다.

ABSTRACT

This paper studies keyphrase extraction in real-world scenarios where documents are from diverse domains and have variant content quality. We curate and release OpenKP, a large scale open domain keyphrase extraction dataset with near one hundred thousand web documents and expert keyphrase annotations. To handle the variations of domain and content quality, we develop BLING-KPE, a neural keyphrase extraction model that goes beyond language understanding using visual presentations of documents and weak supervision from search queries. Experimental results on OpenKP confirm the effectiveness of BLING-KPE and the contributions of its neural architecture, visual features, and search log weak supervision. Zero-shot evaluations on DUC-2001 demonstrate the improved generalization ability of learning from the open domain data compared to a specific domain.

연구 동기 및 목표

• 비과학 도메인에서 키워드 추출을 위한 대규모이고 다양한 실제 웹 문서 데이터셋의 부족 문제를 해결하기 위해.
• 내용 품질과 구조가 다양하고 자원이 적은 저자원 웹 문서에서 키워드 추출 성능을 향상시키기 위해.
• 순수한 언어 이해를 넘어서 시각적 레이아웃과 검색 행동 신호를 활용해 다양한 도메인으로의 일반화 성능을 높이는 모델을 개발하기 위해.
• 검색 클릭 로그와 시각적 특징을 활용한 약한 지도 학습이 개방형 환경에서 키워드 추출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 다양한 도메인에서 온 약 100,000건의 웹 문서와 전문가가 작성한 키워드를 포함한 데이터셋인 OpenKP를 정제하였으며, aka.ms/BLING에서 공개하였다.
• 웹 문서의 언어적 특징과 시각적 특징을 동시에 모델링하기 위해 컨볼루션 트랜스포머 아키텍처를 사용한 신경망 모델인 BLING-KPE를 제안하였다.
• 글꼴 크기, 위치, HTML 구조와 같은 시각적 특징을 단어 임베딩에 통합하여 문서 레이아웃의 주목할 만한 특징을 포착하였다.
• 검색 클릭 로그를 활용해 대규모로 키워드 관련성에 대해 약한 지도 학습을 제공하기 위해 '검색어 예측'이라는 사전 훈련 작업을 도입하였다.
• 맥락 임베딩(E.g., ELMo), 시각적 특징, 클릭 기반 지도 학습을 조합하여 언어 모델링을 넘어서 키워드 탐지 성능을 향상시켰다.
• DUC-2001에서 zero-shot 평가 시 문서 조각에서 추출된 키워드를 통합하기 위해 히ュ리스틱(가중치 합과 중복 제거)을 적용하였다.

실험 결과

연구 질문

• RQ1 다양하고 실제 웹 문서에서 훈련된 키워드 추출 모델이 미세조정 없이도 뉴스와 같은 새로운 도메인에 효과적으로 일반화될 수 있는가?
• RQ2 언어 모델링을 넘어서 시각적 문서 특징과 검색 클릭 로그가 키워드 추출 성능에 얼마나 기여하는가?
• RQ3 OpenKP 및 뉴스 데이터셋에서 최신 신경망 및 비신경망 키워드 추출 방법과 비교해 BLING-KPE는 어떤가?
• RQ4 검색 클릭 로그를 약한 지도 학습으로 사전 훈련하면 키워드 추출 정확도와 도메인 간 내구성이 향상되는가?
• RQ5 BLING-KPE의 전체 성능에서 언어 모델링, 시각적 특징, 클릭 기반 지도 학습의 상대 기여도는 어느 정도인가?

주요 결과

• BLING-KPE는 OpenKP 데이터셋에서 표준 KPE 기반 모델, 최근 신경망 모델, 그리고 고도로 최적화된 상용 시스템을 큰 격차로 앞서며 성능을 뛰어넘었다.
• 제거 실험 결과 시각적 특징이나 검색 클릭 사전 훈련을 제거하면 모델 정확도가 크게 떨어지며, 이는 이들이 핵심적인 역할을 한다는 것을 확인한다.
• OpenKP에서 훈련된 BLING-KPE는 DUC-2001에서 zero-shot 평가에서 F1@10 점수 기준으로 가장 높은 성능을 기록했으며, TFIDF 및 모든 다른 신경망 모델을 앞섰다.
• 과학 도메인 데이터로 훈련된 모델보다 OpenKP에서 훈련된 모델이 더 우수한 일반화 성능을 보였으며, 뉴스 문서에 대한 일반화 실패를 보인 반면, 이는 뉴스 문서에 대한 일반화 능력이 떨어짐을 의미한다.
• 시각적 특징은 언어 모델이 단독으로 높은 순위를 매기지 않는 제품명이나 유형과 같은 주목할 만한 어휘를 식별하는 데 도움을 주며, 이는 시각적으로 강조된 문장에서 특히 유용하다.
• 검색어 예측 사전 훈련 작업은 대규모 검색 로그를 효과적으로 활용해 의미 있는 지도 신호를 제공함으로써 키워드 관련성 탐지 성능을 향상시켰다.