[論文レビュー] Plagiarism Detection - State-of-the-art systems (2016) and evaluation methods

Christina N. Kraus|arXiv (Cornell University)|Mar 8, 2016

Academic integrity and plagiarism参考文献 10被引用数 7

ひとこと要約

この論文は2016年現在の最先端の改ざん検出システムおよび評価手法をレビューし、外挿的改ざん検出フレームワーク、テクスト特徴タイプ、検出技術に焦点を当てる。最近のアプローチはPAN-PCコンペティションコーパスを用いて評価され、現在の評価手法の限界が特定され、2011年から2015年にかけて検出性能が50%以上向上したことが明らかになった。2015年の優勝者は、改ざんタイプに適応したパrameterチューニングを施したtf-idfベクトル空間モデルを採用していた。

ABSTRACT

Plagiarism detection systems comprise various approaches that aim to create a fair environment for academic publications and appropriately acknowledge the authors' works. While the need for a reliable and performant plagiarism detection system increases with an increasing amount of publications, current systems still have shortcomings. Particularly intelligent research plagiarism detection still leaves room for improvement. An important factor for progress in research is a suitable evaluation framework. In this paper, we give an overview on the evaluation of plagiarism detection. We then use a taxonomy provided in former research, to classify recent approaches of plagiarism detection. Based on this, we asses the current research situation in the field of plagiarism detection and derive further research questions and approaches to be tackled in the future.

研究の動機と目的

• 2016年現在における改ざん検出システムおよび評価手法の現状を評価すること。
• PAN-PCコンペティションコーパスおよび評価指標を用いて、最近の改ざん検出アプローチを評価すること。
• 特にコーパスの現実性と性能測定に関する観点から、既存の評価フレームワークの欠陥を特定すること。
• 現実の改ざん状況をよりよく反映するように、評価基準およびコーパス設計の改善を提言すること。
• 文語的改ざんおよび知的改ざんの両方を検出するという未解決の課題を特定することで、今後の研究を導くこと。

提案手法

• 論文は先行研究の分類法を用い、最近の改ざん検出システムを文語的、知的、外挿的、内挿的、および多言語的改ざんの種別に分類する。
• 語彙的（n-gram）、構文的（フレーズ、品詞）、意味的（WordNet、BabelNet）、構造的、スタイル特徴のテクスト特徴に基づいて検出手法を評価する。
• PAN-PCコンペティション（2011–2015年）の結果を分析し、主評価指標としてPlagDet F1スコアを用いる。
• 意味的グラフベース検出、ベクトル空間モデル（例：tf-idf）、多言語処理手法（文字n-gramおよび翻訳ベース手法）を比較分析する。
• PAN-PCコーパスが現実的な改ざん分布や改ざん部分のトピックの一貫性を欠いているとして批判する。
• 比較可能性と現実世界の妥当性を高めるために、標準化された評価指標および改善されたコーパス設計を提言する。

実験結果

リサーチクエスチョン

• RQ1 2011年から2015年にかけて、特にPAN-PCコンペティションの文脈において、改ざん検出システムの性能と手法はどのように進化したか。
• RQ2 PAN-PCコーパスのような現在の評価フレームワークは、学術出版における現実の改ざん状況をどの程度反映しているか。
• RQ3 なぜ一部のアプローチ（例：意味的グラフベース検出）は、通常の多言語処理手法よりも、多言語改ざん検出で優れた性能を示すのか。
• RQ4 特定の改ざんタイプ（例：短い対象部分 vs. 長い対象部分）に特化したパrameterチューニングが、検出性能にどのように影響するか。
• RQ5 公平で現実的な改ざん検出システムの比較を保証するためには、評価指標およびコーパス設計にどのような改善が必要か。

主な発見

• PAN-PCコンペティションにおけるPlagDet F1スコアは2011年の0.56から2014年の0.878に上昇し、4年間で50%以上の性能向上が示された。
• 2015年のコンペティション優勝者は、改ざんタイプに適応したパrameterチューニングを施したtf-idfベクトル空間モデルを採用し、対象部分の長さと性質に応じた適応により高い性能を達成した。
• BabelNetおよびWordNetを用いた意味的グラフベース手法は、英語-スペイン語翻訳においてPlagDetスコア0.594を達成し、一部の初期コンペティション参加者を上回ったが、2015年の後続参加者に比べて性能が劣った。
• 文字n-gramおよび翻訳ベース手法を用いた通常の多言語処理アプローチはリコールが0.25にとどまり、改ざんコンテンツの検出能力が著しく低いことが示された。
• PAN-PCコーパスは、人工的な改ざん挿入、改ざん部分のトピックの一貫性欠如、知的改ざんの不十分な表現といった点で批判を受け、現実世界への妥当性が制限されている。
• 進展は見られたが、評価手法は依然として一貫性がなく、多くの新規アプローチが異なるコーパスと指標を用いるため、直接的な比較や再現性が阻害されている。