[論文レビュー] Measuring Structural Distances between Texts.

Uli Fahrenberg, Fabrizio Biondi+4 more|arXiv (Cornell University)|Mar 17, 2014

Authorship Attribution and Profiling参考文献 2被引用数 4

ひとこと要約

この論文は、個々の単語ではなく複数語の句に基づいてテキスト間の構造的差を定量化する、新しい相互テキスト距離測度を導入している。この測度により、より洗練された比較が可能となり、計算的にも効率的である。統計的分析において、サンプルコーパスを用いて本物の科学論文と偽物の科学論文を効果的に区別できる。

ABSTRACT

We define and use a new inter-textual distance which, contrary to other common approaches, not only measures differences in occurrences of words, but in occurrences of multi-word phrases. We show that this distance may easily be calculated and use it for statistical analysis of some sample corpuses of genuine and fake scientific papers.

研究の動機と目的

• 個々の単語の頻度を超えた構造的差を捉える、より正確なテクスト類似度測度の開発を目的とする。
• 従来の単語ベースの距離測度が科学的テキストにおける微細なスタイル的・構造的変化を検出する際の限界を克服することを目的とする。
• 提案された測度が、本物の科学論文と改ざん・偽造された論文を区別する効果性を評価することを目的とする。
• 学術文書検証における大規模テキスト分析に適した計算的に軽量な手法を提供することを目的とする。

提案手法

• 本論文は、個々の単語ではなく複数語のフレーズの共起および分布に基づいた、新しい相互テキスト距離測度を提案する。
• ドキュメント間のフレーズ単位の頻度と分布パターンを比較することで、テクスト類似度をモデル化する。
• 距離測度は、フレーズ出現の希少性と分布的一致性に基づいて重み付けされる統計的フレームワークを用いて計算される。
• この手法は計算的に軽量に設計されており、大規模なテキストコーパスへの応用が可能である。
• 標準的な統計的手法を活用して、テキスト間のフレーズレベルの構造的差を分析する。
• 本手法の判別力の検証には、実際の科学論文および合成された科学論文を用いる。

実験結果

リサーチクエスチョン

• RQ1 フレーズベースの距離測度は、単語ベースの手法に比べて、科学的テキストにおける構造的差をより効果的に検出できるか？
• RQ2 実証的評価において、提案された測度は本物の科学論文と偽物の科学論文をどれほど効果的に区別できるか？
• RQ3 フレーズベースの距離測度は、大規模テキスト分析において計算的にどの程度効率的か？
• RQ4 複数語のフレーズを含めることで、科学的ライティングにおけるスタイル的不一致の検出が向上するか？

主な発見

• フレーズベースの距離測度は、単語レベルの比較手法では捉えきれないテキストの構造的差を効果的に捉えている。
• 分析したサンプルコーパスにおいて、本物の科学論文と偽物の論文を区別する能力が、本手法で強く示された。
• この測度は計算的に効率的であり、大規模なドキュメント分析に適している。
• 科学的ライティングにおけるスタイル的不一致の同定において、個々の単語よりも複数語のフレーズがより情報量が多く、有効であることが示された。