[论文解读] A New High-Performance Approach to Approximate Pattern-Matching for Plagiarism Detection in Blockchain-Based Non-Fungible Tokens (NFTs)

Ciprian Pungilă, Darius Galiş+1 more|arXiv (Cornell University)|May 28, 2022

Academic integrity and plagiarism被引用 4

一句话总结

本文提出了一种新颖的高性能近似模式匹配方法，用于基于区块链的NFT中的抄袭检测，采用带滑动窗口和局部阈值的非确定性有限自动机（NDFA）。该方法在保持高精度的同时，相较于经典的相似度度量方法（如Levenshtein），实现了高达9.5倍的加速，适用于实时NFT知识产权保护。

ABSTRACT

We are presenting a fast and innovative approach to performing approximate pattern-matching for plagiarism detection, using an NDFA-based approach that significantly enhances performance compared to other existing similarity measures. We outline the advantages of our approach in the context of blockchain-based non-fungible tokens (NFTs). We present, formalize, discuss and test our proposed approach in several real-world scenarios and with different similarity measures commonly used in plagiarism detection, and observe significant throughput enhancements throughout the entire spectrum of tests, with little to no compromises on the accuracy of the detection process overall. We conclude that our approach is suitable and adequate to perform approximate pattern-matching for plagiarism detection, and outline research directions for future improvements.

研究动机与目标

• 为应对数字资产中日益增长的抄袭挑战，特别是在基于区块链的NFT生态系统中。
• 在不牺牲准确性的前提下，提升近似模式匹配在抄袭检测中的性能。
• 实现实时、可扩展的大规模NFT和数字内容平台中的近似重复内容检测。
• 通过自适应阈值减少基于相似度的抄袭检测中的误报和漏报。
• 设计一种可扩展、高吞吐量的解决方案，适用于与NFT增强型区块链系统集成。

提出的方法

• 该方法采用非确定性有限自动机（NDFA）高效索引和匹配模式。
• 应用滑动窗口机制将输入数据分块处理，实现在每个节点层级的局部相似度评分。
• 在自动机的每个节点设置局部阈值，以早期检测部分匹配，减少不必要的完整序列比较。
• 在NDFA框架内集成多种相似度度量方法——欧几里得距离、汉明距离和Levenshtein距离，以实现灵活的模式匹配。
• 自动机在每个节点存储所有后缀，通过类似动态规划的状态转移实现高效近似匹配检测。
• 通过并行处理模式并利用NDFA同时处理多个潜在匹配的能力，优化性能。

实验结果

研究问题

• RQ1 如何加速大规模NFT和数字内容系统中抄袭检测的近似模式匹配？
• RQ2 在基于相似度的模式匹配中，使用局部阈值和滑动窗口时，速度与准确性的权衡如何？
• RQ3 NDFA-based自动机在吞吐量和精度方面，相较于经典的Levenshtein、汉明和欧几里得距离度量方法，能实现多大程度的性能超越？
• RQ4 不同模式长度和窗口大小如何影响所提方法的性能和准确性？
• RQ5 所提方法能否实现可扩展性，以在基于区块链的NFT平台中实现低存储开销的实时部署？

主要发现

• 所提出的基于NDFA的方法在Levenshtein相似度上相较于经典方法实现了高达9.5倍的吞吐量提升，尤其在长模式下表现更优。
• 欧几里得相似度在所有阈值设置下均保持1个误报，表明检测可靠性稳定。
• 当阈值设置为0.85或以上时，汉明距离和Levenshtein相似度均实现零误报，表明在高阈值下具有高精度。
• 该方法在欧几里得相似度上实现了9倍的加速，在汉明距离上实现了3倍的加速，表明性能提升具有一致性。
• 即使在长模式下，该方法仍实现显著加速，表明其对输入规模具有强大的可扩展性。
• 尽管吞吐量高，由于每个节点均需存储完整后缀，导致内存使用量较高，因此未来工作将聚焦于存储优化。