[論文レビュー] Segmentation of Expository Texts by Hierarchical Agglomerative Clustering

Yaakov Yaari|arXiv (Cornell University)|Sep 26, 1997

Natural Language Processing Techniques参考文献 20被引用数 81

ひとこと要約

本稿では、項の間の語彙的類似性に基づき、項の類似度を用いたコサイン類似度を近接性測定として用いる階層的凝集型クラスタリング（HAC）手法を提案する。この手法は、人間がアノテートした境界に対して87%の正確性と78%の再現率を達成し、TextTilingを上回り、線形的セグメンテーションを超えた知的なテキスト探索を可能にする階層的構造を生成する。

ABSTRACT

We propose a method for segmentation of expository texts based on hierarchical agglomerative clustering. The method uses paragraphs as the basic segments for identifying hierarchical discourse structure in the text, applying lexical similarity between them as the proximity test. Linear segmentation can be induced from the identified structure through application of two simple rules. However the hierarchy can be used also for intelligent exploration of the text. The proposed segmentation algorithm is evaluated against an accepted linear segmentation method and shows comparable results.

研究の動機と目的

• 自由な説明的テキストにおける階層的ディス course 構造を発見するための手法を開発すること。
• 語彙的結束性（語彙的類似度による測定）のみが、ディス course の境界を効果的に特定できるかどうかを評価すること。
• 階層的クラスタリングが、単なる線形的セグメンテーションよりも豊かな構造的情報を得られることを示すこと。
• 提案されたHACに基づくセグメンテーションを、TextTilingや人間がアノテートした境界と比較すること。
• 得られた階層構造が、目次作成や知的なテキストブラウジングといったタスクにどのように有用であるかを検討すること。

提案手法

• クラスタリングの基本単位として項を扱い、TF-IDF重み付き語彙ベクトル間のコサイン距離を用いて語彙的類似度を計算する。
• 単一結合法による統合を用いた階層的凝集型クラスタリングを適用し、初期段階では個々の項から始め、類似度が最も高いペアを反復的に統合する。
• 境界検出は、デンドログラムにおける「ノッチ」と「クラフト」構造の特定によって行われる。ここでノッチとは、隣接するクラスタ間の類似度が顕著に低下する場所を指す。
• 線形的セグメンテーションは、階層構造から以下の2つの簡単なルールを用いて導出する：(1) ノッチの位置に境界を配置し、(2) クラスタがリーフまたは要約設定の場合に境界を配置する。
• 語彙ベクトル構築の前段階で語形解析を用いて語を正規化し、ノイズを低減する。
• 近接性テストは語彙的類似度に基づくが、将来的に概念ベクトルやキーフレーズ分析への拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 語彙的結束性（語彙ベクトル類似度による測定）は、説明的テキストにおけるディス course の境界を信頼性高く特定できるか？
• RQ2 階層的凝集型クラスタリングは、TextTilingのような線形的セグメンテーション手法よりも情報量の多い構造を生成するか？
• RQ3 HACに基づくセグメンテーションは、人間がアノテートしたディス course の境界とどの程度一致するか？
• RQ4 階層的構造は、目次作成といった高度なテキスト探索タスクを支援できるか？
• RQ5 設定や要約セクションといった異なる構造的パターンが、クラスタリングの階層にどのように現れるか？

主な発見

• HACに基づくセグメンテーションは、人間がアノテートした境界と比較して87%の正確性と78%の再現率を達成し、TextTilingの69%の正確性と56%の再現率を上回った。
• アルゴリズムは、{17–18}が{14–18}の部分構造であるようなネストされたセグメントといった階層的構造を効果的に同定した。
• 語彙的結束性が顕著に低下する項の遷移箇所、例えば『Stargazers』テキストの3–4および18–19の間でノッチ境界が観察された。
• 主要セクションの終了付近でクラフト境界が検出され、例えば第18項の後で要約または結論セクションを示すものであった。
• 非一貫性のある『Genetics』テキストでは、深いつながりのないノッチ（第13、22、31、35、49項付近）が、主記事の終りと独立した副記事の始まりを正しく同定した。
• 階層的構造により、線形的手法では得られないような、テーマ的グループ化の推論や潜在的なセクションタイトルの抽出といった、より洗練されたテキスト探索が可能になった。