[논문 리뷰] Text Segmentation Based on Similarity between Words

Hideki Kozima|ArXiv.org|1996. 01. 23.

Natural Language Processing Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 의미 네트워크를 통해 어휘 유사도를 측정함으로써 일관된 텍스트 세그먼트를 식별하는 새로운 텍스트 분할 방법인 어휘 결속 프로파일(Lexical Cohesion Profile, LCP)을 제안한다. 인간이 애너테이션한 세그먼트와 비교하여 LCP는 인간 평가와 강한 상관관계를 보이며, 논의 경계를 탐지하고 비동조 및 생략을 해결하는 데에 강력한 접근법을 제공한다.

ABSTRACT

This paper proposes a new indicator of text structure, called the lexical cohesion profile (LCP), which locates segment boundaries in a text. A text segment is a coherent scene; the words in a segment are linked together via lexical cohesion relations. LCP records mutual similarity of words in a sequence of text. The similarity of words, which represents their cohesiveness, is computed using a semantic network. Comparison with the text segments marked by a number of subjects shows that LCP closely correlates with the human judgments. LCP may provide valuable information for resolving anaphora and ellipsis.

연구 동기 및 목표

• 텍스트 세그먼트 경계를 식별하기 위한 객관적이고 계산 기반의 지표를 개발하기 위해.
• 어휘 결속을 어순 내 단어 유사도의 함수로 모델링하기 위해.
• 논의 분석을 지원하고 비동조 및 생략을 해결하는 데 도움이 되는 도구를 제공하기 위해.
• 정당성과 신뢰성을 평가하기 위해 인간이 애너테이션한 텍스트 세그먼트와 비교하여 방법을 평가하기 위해.
• 의미 네트워크 기반의 어휘 유사도가 인간이 느끼는 일관성 인식과 강하게 상관됨을 입증하기 위해.

제안 방법

• 텍스트 시퀀스에서 연속된 단어 간 상호 유사도를 기록하는 어휘 결속 프로파일(LCP)을 구축한다.
• 의미 네트워크를 사용하여 어휘 유사도를 계산함으로써 어휘 결속을 어휘 쌍 간에 포괄적으로 측정한다.
• 유사도가 크게 감소하는 지점에서 잠재적 세그먼트 경계를 탐지하기 위해 LCP를 적용한다.
• 비교 및 검증을 위해 인간이 애너테이션한 텍스트 세그먼트를 기준값으로 사용한다.
• 구문적 구조가 아닌 의미 관계 기반으로 결속을 정량화하기 위해 계산 모델을 활용한다.
• 사전에 정의된 의미 네트워크를 활용하여 단어 간 어휘 유사도를 표현하고 계산한다.

실험 결과

연구 질문

• RQ1 의미 네트워크를 통해 측정한 어휘 유사도가 텍스트 세그먼트 경계를 신뢰성 있게 나타낼 수 있는가?
• RQ2 LCP는 인간이 식별한 텍스트 세그먼트와 얼마나 잘 상관되는가?
• RQ3 LCP는 논의 내 비동조 및 생략 해결에 어느 정도 기여할 수 있는가?
• RQ4 의미 유사도 기반 어휘 결속이 문법적 또는 통계적 방법보다 세그먼트 탐지에서 뛰어난가?
• RQ5 텍스트 시퀀스 전반에 걸친 어휘 유사도 프로파일이 논의 일관성을 효과적으로 모델링할 수 있는가?

주요 결과

• 어휘 결속 프로파일(LCP)은 인간이 애너테이션한 세그먼트와 강한 상관관계를 보이며, 이는 세그먼트 경계 식별 지표로서의 타당성을 시사한다.
• LCP는 어휘 유사도의 감소를 탐지함으로써 논의 경계를 효과적으로 포착한다.
• 이 방법은 의미 유사도가 텍스트 내 어휘 결속의 신뢰할 수 있는 대체 지표가 될 수 있음을 입증한다.
• LCP는 자연어 처리에서 비동조 및 생략 해결을 보조할 수 있는 유용한 구조적 정보를 제공한다.
• 구문적 또는 통계적 방법에 비해 의미 관계를 활용함으로써 이 방법은 더 뛰어난 성능을 보인다.
• 결과는 의미 네트워크를 통해 계산된 어휘 유사도가 인간이 느끼는 텍스트 일관성 인식을 높은 정확도로 모델링할 수 있음을 확인한다.