[論文レビュー] Tracking Amendments to Legislation and Other Political Texts with a Novel Minimum-Edit-Distance Algorithm: DocuToads

Henrik Hermansson, James Cross|arXiv (Cornell University)|Aug 23, 2016

Internet Traffic Analysis and Secure E-voting参考文献 23被引用数 4

ひとこと要約

本稿では、文書バージョン間の挿入、削除、置換、転置を定量化することで、立法的・政治的文書の改正を効率的かつ透明に追跡する、新しい最小編集距離アルゴリズムであるDocuToadsを紹介する。手動コーディングに比べて高速かつ一貫性に優れ、人為的コーディングデータ（R² = 0.26）と強い相関を示し、転置の処理が優れているため、政治的文脈におけるテキスト進化のスケーラブルで言語に依存せず再現可能な分析が可能となる。

ABSTRACT

Political scientists often find themselves tracking amendments to political texts. As different actors weigh in, texts change as they are drafted and redrafted, reflecting political preferences and power. This study provides a novel solution to the prob- lem of detecting amendments to political text based upon minimum edit distances. We demonstrate the usefulness of two language-insensitive, transparent, and efficient minimum-edit-distance algorithms suited for the task. These algorithms are capable of providing an account of the types (insertions, deletions, substitutions, and trans- positions) and substantive amount of amendments made between version of texts. To illustrate the usefulness and efficiency of the approach we replicate two existing stud- ies from the field of legislative studies. Our results demonstrate that minimum edit distance methods can produce superior measures of text amendments to hand-coded efforts in a fraction of the time and resource costs.

研究の動機と目的

• 立法的・政治的文書におけるテキスト改正を追跡するための、効率的で透明性があり、再現可能な手法の開発。
• 時間のかかる、誤りが生じやすい、スケーラビリティに欠ける既存の手動コーディング手法の限界を是正すること。
• 多様なアルファベットと政治的テキストタイプを扱える言語に依存しないアルゴリズムの開発。
• 従来の最小編集距離アルゴリズムを改善し、転置検出を組み込むことで、改正検出におけるI型エラーを低減すること。
• 政治的参加者が繰り返し草案を修正することでテキストがどのように形作られるかを、細粒度の自動分析で解明すること。

提案手法

• 本研究では、標準的なLevenshtein距離と、新たなバリエーションであるDocuToadsの2つの最小編集距離（MED）アルゴリズムを実装した。DocuToadsは、転置（カット・ペースト操作）を明示的にモデル化している。
• 両アルゴリズムとも、あるテキストバージョンを別のバージョンに変換するために必要な最小の編集操作（挿入、削除、置換、転置）の数を計算する。
• Pythonで実装されており、その効率性とクロスプラットフォーム互換性を活かし、並列処理をサポートすることで計算を高速化している。
• 一貫性を確保するため、テキストの前処理が施されており、フォーマットやタイプミスに起因する誤差を最小限に抑える。
• 単語レベルの変更が実質的な政治的改正を反映するような、再下書きされたテキストで最も効果的に機能するよう設計されている。
• アルゴリズムは編集タイプの詳細な分解と、合計の単語レベルの変更数を出力し、テキスト進化の細粒度分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小編集距離アルゴリズムは、手動コーディング手法と比較して、立法的・政治的文書におけるテキスト改正の検出と定量化においてどの程度正確か？
• RQ2 転置検出を組み込むことで、テキスト進化分析における改正追跡の信頼性はどの程度向上するか？
• RQ3 本手法は、大規模な政治的テキストの集積に対しても、効率的にスケーリング可能であり、透明性と再現可能性を維持できるか？
• RQ4 自動MED分析の結果は、既存の手動コーディング指標と比較して、相関性と詳細さの面でどの程度異なるか？
• RQ5 本手法は、テキストドラフト分析を通じて、政治的影響力、力のダイナミクス、官僚的プロセスの研究をどの程度向上できるか？

主な発見

• DocuToadsアルゴリズムは、MartinとVanberg（2005）の手動コーディングによる記事レベルの改正と強く相関（R² = 0.26）を示し、人為的コーディングを高精度で再現していることが確認された。
• Levenshteinアルゴリズムは、ほとんどの場合、DocuToadsと同等の性能を示したが、転置が存在する場合にはI型エラーを発生させた。これは、DocuToadsの転置対応設計の優位性を示している。
• 平均して、1組のドキュメントを処理するのに標準的なデスクトップコンピュータで30秒未満で完了し、手動コーディングに比べて顕著な効率向上が得られた。
• 異なる言語やアルファベットに対しても、一貫性があり、透明性があり、再現可能な結果が得られ、国際的比較研究を支援した。
• 本研究では、最小編集距離手法が、人為的エラーとリソースコストを低減しつつ、手動コーディングよりも詳細かつ信頼性の高い改正指標を生成できることを確認した。
• 本手法は、挿入、削除、置換、転置の種類を含めた改正の数量と種別を成功裏に捉え、政治的テキスト進化の細粒度分析を可能にした。