[논문 리뷰] Investigating Keyphrase Indexing with Text Denoising

Rushdi Shams, Robert E. Mercer|arXiv (Cornell University)|2012. 04. 10.

Advanced Text Analysis Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 음식 및 농업, 고에너지 물리학, 생물의학 과학의 세 분야에서 마우이 키워드 색인기의 성능에 대한 텍스트 노이즈 제거의 영향을 조사한다. 원본 길이의 70%에 해당하는 정제된 텍스트로 마우이를 훈련시킴으로써, 연구는 전체 텍스트 기준 성능과 동등하거나 이를 초월하는 색인 성능을 보여주며, 복잡도가 높고 다음음절어가 많은 문장들—Fog 지수를 통해 식별된 내용이 풍부한 문장들—이 전체 문서 크기보다도 더 나은 키워드 추출 성능을 이끌어내는 것으로 나타났다.

ABSTRACT

In this paper, we report on indexing performance by a state-of-the-art keyphrase indexer, Maui, when paired with a text extraction procedure called text denoising. Text denoising is a method that extracts the denoised text, comprising the content-rich sentences, from full texts. The performance of the keyphrase indexer is demonstrated on three standard corpora collected from three domains, namely food and agriculture, high energy physics, and biomedical science. Maui is trained using the full texts and denoised texts. The indexer, using its trained models, then extracts keyphrases from test sets comprising full texts, and their denoised and noise parts (i.e., the part of texts that remains after denoising). Experimental findings show that against a gold standard, the denoised-text-trained indexer indexing full texts, performs either better than or as good as its benchmark performance produced by a full-text-trained indexer indexing full texts.

연구 동기 및 목표

• 전체 텍스트 훈련과 비교해 텍스트 노이즈 제거가 키워드 색인 성능을 향상시키는지 평가하는 것.
• 다양한 분야에서 키워드 추출을 위한 최적의 노이즈 제거 임계값(텍스트 길이 기준)을 결정하는 것.
• 낮은 독해도와 내용이 풍부하지 않은 텍스트(노이즈)를 제거함으로써 색인기 성능이 향상되거나 악화되는지 평가하는 것.
• 원래 생물의학 관계 추출을 위해 설계된 텍스트 노이즈 제거가 키워드 색인에 효과적으로 일반화되는지 조사하는 것.
• 정밀도, 재현율, F-score, 인덱서 간 일致도 측도를 사용해 마우이의 정제된 텍스트, 전체 텍스트, 노이즈 텍스트 서브셋에서의 성능을 비교하는 것.

제안 방법

• 독해도 기반으로 Fog 지수를 사용해 문장 중 70%가 내용이 풍부한 문장—구조적 복잡도가 높고 다음음절어가 많은 문장—을 식별하고, 이를 토대로 텍스트 노이즈 제거를 수행한다.
• 정제된 텍스트는 음식 및 농업(Food and Agriculture Organization-780), 고에너지 물리학(CERN-290), 생물의학 과학(NLM-500) 세 분야의 전체 문서에서 추출된다.
• 최첨단 키워드 색인기인 마우이를 전체 텍스트와 정제된 텍스트 서브셋 모두에 대해 훈련시어 두 가지 모델 버전—전체 텍스트 훈련 모델과 정제된 텍스트 훈련 모델—을 생성한다.
• 모든 데이터셋에서 성능 평가의 신뢰성을 확보하기 위해 십중교차검증을 사용하여 훈련 및 테스트를 수행한다.
• 표준 측도인 정밀도, 재현율, F-score, 그리고 황금 표준 기준으로 평가된 인덱서 간 일치도(Fleiss’ kappa)를 사용해 성능을 평가한다.
• 노이즈 텍스트(원본의 30%)도 테스트하여 키워드 추출에 기여하는지 여부를 평가한다.

실험 결과

연구 질문

• RQ1 마우이를 정제된 텍스트(원본의 70%)로 훈련시킬 경우, 전체 텍스트로 훈련시킨 경우와 비교해 더 나은가 또는 동등한 키워드 색인 성능을 얻을 수 있는가?
• RQ2 다양한 분야에서 키워드 추출 성능을 최대화하는 데 가장 적합한 노이즈 제거 임계값(원본 텍스트의 백분율 기준)은 무엇인가?
• RQ3 정제된 텍스트에서 마우이의 성능은 전체 텍스트 및 노이즈 텍스트 서브셋에서의 성능과 비교해 어떻게 다른가?
• RQ4 비생물의학 분야에 비해 생물의학 텍스트에서는 텍스트 노이즈 제거가 색인 품질 향상에 얼마나 기여하는가?
• RQ5 노이즈 텍스트(제거된 30%)는 진정으로 기여하지 않는가, 아니면 잠재적인 키워드 신호를 담고 있는가?

주요 결과

• 마우이가 정제된 텍스트(원본의 70%)로 훈련된 NLM-500 생물의학 코퍼스에서 F-score는 31.50을 기록했으며, 95% 신뢰수준에서 기준 F-score인 31.13을 略로 초월했다.
• CERN-290 물리학 코퍼스에서 마우이의 정제된 텍스트 훈련 모델은 전체 텍스트를 색인할 때 F-score 24.82를 기록했으며, 전문적인 BibClassify 색인기(F-score: 18.80)를 뛰어넘었다.
• FAO-780 음식 및 농업 코퍼스에서는 마우이의 정제된 텍스트 훈련 모델 성능이 전체 텍스트 모델의 기준 성능과 동등하거나 이를 초월했다.
• 인덱서 간 일치도 측도는 마우이가 정제된 텍스트를 사용할 경우 생물의학 텍스트에서 특히 품질이 높거나 향상됨을 확인했으며, 이는 품질이 유지되거나 향상됨을 의미한다.
• 노이즈 텍스트(원본의 30%)는 색인 성능 향상에 기여하지 않으며 오류율을 증가시켰다. 이는 노이즈 텍스트에 유용한 키워드 신호가 거의 없음을 시사한다.
• 텍스트 노이즈 제거는 생물의학 관계 추출 외에도 키워드 색인에 효과적이며, 물리학 및 농업과 같은 비생물의학 분야로도 그 효과가 확장됨을 입증했다.