[논문 리뷰] Segmentation of Expository Texts by Hierarchical Agglomerative Clustering

Yaakov Yaari|arXiv (Cornell University)|1997. 09. 26.

Natural Language Processing Techniques참고 문헌 20인용 수 81

한 줄 요약

이 논문은 문단 간 어휘 유사도를 기반으로 하위 서술형 텍스트를 분할하기 위해 계층적 응집 군집화(HAC) 방법을 제안한다. 유사도 측정은 어휘 벡터의 코사인 유사도를 사용한다. 이 방법은 인간이 애너테이션한 경계와 비교해 정밀도 87%와 재현율 78%를 달성하며, TextTiling보다 뛰어나며, 선형 분할을 넘어서 지능적인 텍스트 탐색을 가능하게 하는 계층적 구조를 생성한다.

ABSTRACT

We propose a method for segmentation of expository texts based on hierarchical agglomerative clustering. The method uses paragraphs as the basic segments for identifying hierarchical discourse structure in the text, applying lexical similarity between them as the proximity test. Linear segmentation can be induced from the identified structure through application of two simple rules. However the hierarchy can be used also for intelligent exploration of the text. The proposed segmentation algorithm is evaluated against an accepted linear segmentation method and shows comparable results.

연구 동기 및 목표

• 복잡한 언어학적 특징에 의존하지 않고 자유로운 서술형 텍스트에서 계층적 논의 구조를 발견하는 방법을 개발하는 것.
• 어휘 유사도를 측정하는 어휘 벡터 유사도를 통해 어휘 결속성만으로도 논의 경계를 효과적으로 식별할 수 있는지 평가하는 것.
• 계층적 군집화가 선형 분할보다 더 풍부한 구조적 정보를 제공할 수 있음을 보여주는 것.
• 제안된 HAC 기반 분할 방법을 TextTiling 및 인간 애너테이션 경계와 비교하는 것.
• 유래한 계층적 구조가 테이블 오브 컨텐츠 생성 및 지능적인 텍스트 브라우징과 같은 작업에 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 문단을 군집화의 기본 단위로 간주하며, TF-IDF 가중 어휘 벡터 간의 코사인 거리를 사용해 어휘 유사도를 계산한다.
• 단일 연결법 병합을 사용한 계층적 응집 군집화를 적용하며, 초기에는 개별 문단에서 시작하여 유사도가 가장 높은 쌍을 반복적으로 병합한다.
• 경계 탐지는 계층도의 '균열(notch)'과 '절벽(cliff)' 구조를 식별함으로써 수행되며, 균열은 인접한 군집 간의 유사도가 급격히 감소하는 지점을 나타낸다.
• 선형 분할은 계층에서 유도되며, 두 가지 단순 규칙을 사용한다: (1) 균열 위치에 경계를 둔다, (2) 군집이 단말 노드 또는 요약 설정인 경우 절벽 위치에 경계를 둔다.
• 어휘 벡터 구축 이전에 형태소 분석을 통해 단어를 정규화하고 노이즈를 줄인다.
• 유사도 측정은 어휘 유사도에 기반하며, 향후 개선을 위해 개념 벡터 또는 신호어 분석과 같은 확장 가능성이 있다.

실험 결과

연구 질문

• RQ1 어휘 유사도를 어휘 벡터 유사도로 측정할 때, 서술형 텍스트에서 논의 경계를 신뢰성 있게 식별할 수 있는가?
• RQ2 계층적 응집 군집화가 TextTiling와 같은 선형 분할 방법보다 더 정보가 풍부한 구조를 생성하는가?
• RQ3 HAC 기반 분할이 인간 애너테이션된 논의 경계와 어느 정도 일치하는가?
• RQ4 계층적 구조가 테이블 오브 컨텐츠 생성과 같은 고급 텍스트 탐색 작업을 지원할 수 있는가?
• RQ5 설정 및 요약 섹션과 같은 다양한 구조적 패턴이 군집화 계층에서 어떻게 나타나는가?

주요 결과

• HAC 기반 분할은 인간 애너테이션 경계와 비교해 정밀도 87%와 재현율 78%를 달성했으며, TextTiling의 정밀도 69%와 재현율 56%를 뛰어넘었다.
• 알고리즘은 {17–18}이 {14–18}의 하위 부분인 것처럼 중첩된 세그먼트와 같은 계층적 구조를 성공적으로 식별했으며, 이는 주제적 관계를 반영한다.
• 어휘 결속성이 급격히 감소하는 문단 전환 지점에서 균열 경계가 관찰되었으며, 예를 들어 Stargazers 텍스트의 3–4 및 18–19번 문단 사이에서 나타났다.
• 주요 섹션의 끝에서 절벽 경계가 감지되었으며, 예를 들어 18번 문단 이후에서 나타나 요약 또는 결론 섹션을 나타냈다.
• 비일관성 있는 'Genetics' 텍스트에서 주 기사의 끝과 독립된 서브기사의 시작을 올바르게 식별했으며, 13, 22, 31, 35, 49번 문단에서 깊은 균열이 관찰되었다.
• 계층적 구조는 선형 방법이 제공할 수 없는 더 풍부한 텍스트 탐색을 가능하게 했으며, 주제 그룹화 추론 및 잠재적 섹션 제목 도출이 가능했다.