[論文レビュー] A Measure of Similarity in Textual Data Using Spearman's Rank Correlation Coefficient

Nino Arsov, Milan Dukovski+2 more|arXiv (Cornell University)|Nov 26, 2019

Advanced Text Analysis Techniques参考文献 14被引用数 10

ひとこと要約

本稿では、非線形関係を検出できる能力を活かし、テキストデータのベクトル空間モデルにおける類似性測定としてスピアマンの順位相関係数（SRCC）を新規に提案する。14件のテキスト文書を用いた実験では、語の重複が少ないが意味的関連性が高いケースにおいても、SRCCがコサイン類似度やピアソン相関よりも意味的類似性を的確に捉え、知識抽出タスクにおける頑健性を示した。

ABSTRACT

In the last decade, many diverse advances have occurred in the field of information extraction from data. Information extraction in its simplest form takes place in computing environments, where structured data can be extracted through a series of queries. The continuous expansion of quantities of data have therefore provided an opportunity for knowledge extraction (KE) from a textual document (TD). A typical problem of this kind is the extraction of common characteristics and knowledge from a group of TDs, with the possibility to group such similar TDs in a process known as clustering. In this paper we present a technique for such KE among a group of TDs related to the common characteristics and meaning of their content. Our technique is based on the Spearman's Rank Correlation Coefficient (SRCC), for which the conducted experiments have proven to be comprehensive measure to achieve a high-quality KE.

研究の動機と目的

• 語の重複が少ないが概念的関連性が高い状況において、従来の類似性測定法が意味的類似性を捉えきれないという限界を解決すること。
• TF-IDFベクトル表現におけるテキスト文書同士の類似性を測るのに、スパイアマンの順位相関係数（SRCC）の有効性を評価すること。
• コサイン類似度やピアソン相関が失敗する可能性がある非線形関係を、SRCCが検出できるかどうかを示すこと。
• クラスタリングや知識抽出タスクにおける自然言語処理の分野で、従来の類似性測定法とは異なる信頼性の高い代替手法を提供すること。
• 多様なトピックをカバーするテキスト文書のセットを用いた実験により、本手法の有効性を検証すること。

提案手法

• テキスト文書をTF-IDF重み付け方式を用いてベクトル空間に表現し、各文書を数値ベクトルに変換する。
• 文書ペア間の類似性をスパイアマンの順位相関係数（SRCC）を用いて計算し、各文書の語の重みの順序的関係を評価する。
• SRCCは、既存の測定法（コサイン類似度（CS）とピアソン積率相関係数（PCC））と比較して用いられる。
• SRCCは、各文書ベクトル内のTF-IDF値を順位付けた後、2つの順位ベクトル間の相関を計算することで算出される。
• 本手法は、異種のトピック（例：UFO、法的問題、ニュース、物語など）をカバーする14件のテキスト文書から成るデータセットを用いて、意味的文脈にわたる頑健性をテストする。
• SRCC、CS、PCCの間で視覚的および定量的比較を行い、意味的類似性を検出する性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 語の重複がほとんどない状況においても、スパイアマンの順位相関係数（SRCC）は、テキスト文書間の意味的類似性を効果的に測定できるか？
• RQ2 SRCCは、コサイン類似度やピアソン相関と比較して、テキストデータにおける非線形関係をどの程度効果的に検出できるか？
• RQ3 語の重複が少ないが概念的関連性が高い状況では、従来の測定法よりもSRCCがより現実的な類似度スコアを提供するか？
• RQ4 異種のテキストコンテンツを含む知識抽出および文書クラスタリングタスクにおいて、SRCCを信頼性を持って使用できるか？
• RQ5 SRCCは、文書間の微細なまたは間接的な意味的関連性をどの程度効果的に検出できるか？

主な発見

• SRCCは、関連のないトピック（リーダーシップ対家族および医療休暇）を扱う文書d₁とd₅の類似度を0.0018として算出し、意味的関連性が極めて低いことを示した。
• これに対して、コサイン類似度は同じペアに対して0.36の高い値を示し、語「employee」に起因する語の重複から誤った類似性を示唆しており、誤解を招く結果となった。
• 非常に類似した文書d₈とd₉（両者ともUFO目撃を扱う）では、SRCCが0.95の類似度を達成し、コサイン類似度の0.97およびピアソン相関係数の0.97とほぼ一致した。
• SRCCは、d₆とd₁₀の間の非線形関係（類似度0.022）を検出できたが、コサイン類似度やピアソン相関ではうまく捉えられなかった。これは、非線形文脈における強みを示している。
• 本手法は多様な文書ペアにおいて一貫した性能を示し、他の測定法が失敗するケースでもSRCCの値は意味的直感とよく一致した。
• 視覚的分析により、語の重複が少なくても意味的に関連のないペアと明確に関連のあるペアを、SRCCが効果的に区別できることを確認した。