[論文レビュー] Plagiarism Detection using ROUGE and WordNet

Chien-Ying Chen, Jen‐Yuan Yeh+1 more|arXiv (Cornell University)|Mar 22, 2010

Topic Modeling参考文献 15被引用数 43

ひとこと要約

本稿では、ROUGEメトリクス（n-gram共起、スキップビグラム、LCS）とWordNetを組み合わせた類似性検出手法を用いて、そのままのコピーと変更されたテキストの両方の盗用を検出する盗用検出システムを提案する。構文的類似性と意味的同義語の活用により、語の置換や構造的変更が加えられた内容の検出が向上し、語の出現頻度やフィンガープrint法に比べて意味的変化への耐性が向上する。

ABSTRACT

With the arrival of digital era and Internet, the lack of information control provides an incentive for people to freely use any content available to them. Plagiarism occurs when users fail to credit the original owner for the content referred to, and such behavior leads to violation of intellectual property. Two main approaches to plagiarism detection are fingerprinting and term occurrence; however, one common weakness shared by both approaches, especially fingerprinting, is the incapability to detect modified text plagiarism. This study proposes adoption of ROUGE and WordNet to plagiarism detection. The former includes ngram co-occurrence statistics, skip-bigram, and longest common subsequence (LCS), while the latter acts as a thesaurus and provides semantic information. N-gram co-occurrence statistics can detect verbatim copy and certain sentence modification, skip-bigram and LCS are immune from text modification such as simple addition or deletion of words, and WordNet may handle the problem of word substitution.

研究の動機と目的

• 既存の盗用検出手法が、変更されたまたは言い換えられたテキストを同定する能力に制限を抱えていることに対処すること。
• フィンガープリント法や語の出現頻度法が、語の置換、語順の入れ替え、または微細な構造的変更が加えられたテキストを検出できないという限界を克服すること。
• ROUGEのn-gramおよび部分列照合機能と、WordNetの意味的同義語辞書を統合し、言い換えられたコンテンツの検出を強化すること。
• デジタル時代におけるコンテンツが頻繁に検出を回避するために改変される状況に適応するため、盗用検出の耐性を高めること。

提案手法

• verbatimコピーおよびわずかな文の変更を検出するために、ROUGEのn-gram共起統計を活用する。
• 語の挿入や削除があっても類似テキストを同定できるように、スキップビグラムおよび最長共通部分列（LCS）技術を適用する。
• 語の置換による盗用を検出するために、WordNetを意味的同義語辞書として統合する。
• テキストの入力を正規化（大文字小文字の統一）、ストップワードの除去、比較用の同義語集合の生成によって処理する。
• ROUGEに基づく文字列類似度とWordNetに基づく意味的類似度を組み合わせ、統合的な盗用スコアを算出する。
• ソース文書とターゲット文書間の語彙的および意味的類似度を評価するハイブリッドマッチング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ROUGEメトリクスは、語の挿入や削除などの構造的変更が加えられたテキストにおける盗用を効果的に検出できるか？
• RQ2 WordNetを統合することで、同義語置換を伴う言い換え盗用の検出がどの程度向上するか？
• RQ3 ROUGEとWordNetの組み合わせは、従来のフィンガープリント法や語の頻度ベースの手法に比べて、変更されたテキストの検出においてどのように優れているか？
• RQ4 n-gram、スキップビグラム、LCSといった異なるROUGEメトリクスが、盗用検出の正確性に与える影響は何か？
• RQ5 本手法は、多様なテキストタイプや言い換えパターンに対して、どの程度の耐性を示すか？

主な発見

• ROUGEとWordNetの組み合わせは、従来の手法に比べて言い換えや変更されたテキストの検出を顕著に向上させる。
• ROUGEにおけるスキップビグラムおよびLCSは、語の順序変更や微細な挿入・削除があっても、盗用を効果的に同定できる。
• WordNetにより、語が正確に一致しなくても意味的同等性を同定でき、同義語置換による盗用検出が強化される。
• n-gram共起統計は、そのままのコピーおよびわずかな言い換えの検出に効果的である。
• ハイブリッドアプローチは、フィンガープリント法や語の頻度法単独に比べ、変更されたテキストの再現率が高くなる。
• 本システムは、同義語置換や文構造の再編といった多様な言い換えパターンに対しても、盗用検出の耐性が向上していることが示された。