[论文解读] InvBERT: Text Reconstruction from Contextualized Embeddings used for Derived Text Formats of Literary Works

Johannes Höhmann, Achim Rettinger+1 more|arXiv (Cornell University)|Sep 21, 2021

Topic Modeling参考文献 23被引用 5

一句话总结

本文表明，当编码器和嵌入表示一起公开时，InvBERT 可以从上下文化的 BERT 嵌入表示中重建原始受版权保护的文学文本。该研究揭示了此类衍生文本格式（DTFs）存在版权风险，因为重建准确率已达到可能违反版权法的水平。

ABSTRACT

Digital Humanities and Computational Literary Studies apply text mining methods to investigate literature. Such automated approaches enable quantitative studies on large corpora which would not be feasible by manual inspection alone. However, due to copyright restrictions, the availability of relevant digitized literary works is limited. Derived Text Formats (DTFs) have been proposed as a solution. Here, textual materials are transformed in such a way that copyright-critical features are removed, but that the use of certain analytical methods remains possible. Contextualized word embeddings produced by transformer-encoders (like BERT) are promising candidates for DTFs because they allow for state-of-the-art performance on various analytical tasks and, at first sight, do not disclose the original text. However, in this paper we demonstrate that under certain conditions the reconstruction of the original copyrighted text becomes feasible and its publication in the form of contextualized word representations is not safe. Our attempts to invert BERT suggest, that publishing parts of the encoder together with the contextualized embeddings is critical, since it allows to generate data to train a decoder with a reconstruction accuracy sufficient to violate copyright laws.

研究动机与目标

• 调查 BERT 的上下文词嵌入是否可被逆向还原为原始受版权保护的文学文本。
• 评估在数字人文领域中，当共享 BERT 编码器和嵌入表示时，衍生文本格式（DTFs）的安全性。
• 评估训练一个解码器模型以从上下文嵌入表示中重建源文本的可行性。
• 确定在何种条件下发布基于 BERT 的 DTF 会构成对版权法的违反。

提出的方法

• 作者使用 BERT 编码器和上下文嵌入训练解码器模型，以重建原始文本。
• 他们应用逆向技术，基于上下文表示在每个标记位置生成候选标记。
• 通过最小化预测标记与原始标记之间的重建损失，对解码器进行优化。
• 该方法依赖于 BERT 编码器和上下文嵌入的可用性以实现逆向操作。
• 重建过程使用自回归生成方法，按顺序预测标记，以提升流畅性和连贯性。
• 该方法使用 BLEU 和精确匹配等标准自然语言处理指标评估重建质量。

实验结果

研究问题

• RQ1 当编码器也可用时，能否从 BERT 上下文嵌入表示中重建原始文本？
• RQ2 在 BERT 嵌入表示上使用训练好的解码器，可实现多高的重建准确率？
• RQ3 在何种条件下，发布 BERT 嵌入表示和编码器会违反版权法？
• RQ4 上下文表示如何保留足够的结构和语义信息以支持文本重建？
• RQ5 基于 BERT 嵌入表示的 DTF 在多大程度上危及文学语料的隐私和法律合规性？

主要发现

• 当 BERT 编码器公开可用时，从 BERT 嵌入表示中重建原始文学文本是可行的。
• 实现的重建准确率已高到足以构成对版权法的违反，因为输出在语义上连贯且在结构上忠实于原文。
• 发布 BERT 编码器和上下文嵌入可支持训练出能够生成在内容和形式上与原文匹配的文本的解码器。
• 本研究表明，基于 BERT 嵌入表示的 DTF 并非共享受版权保护的文学作品的安全替代方案。
• 结果表明，即使经过匿名化的嵌入表示在特定条件下仍可被逆向还原，这挑战了数字人文领域中数据隐私的假设。