[論文レビュー] InvBERT: Text Reconstruction from Contextualized Embeddings used for Derived Text Formats of Literary Works

Johannes Höhmann, Achim Rettinger+1 more|arXiv (Cornell University)|Sep 21, 2021

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本稿は、BERTの文脈的埋め込みとエンコーダーが同時に公開されている場合、InvBERTが元の著作権のある文学的テキストを再構築できることを示している。この研究は、こうした派生テキスト形式（DTFs）が著作権リスクを孕んでいることを明らかにした。なぜなら、再構築の正確さが著作権法に違反するに十分な水準に達しているからである。

ABSTRACT

Digital Humanities and Computational Literary Studies apply text mining methods to investigate literature. Such automated approaches enable quantitative studies on large corpora which would not be feasible by manual inspection alone. However, due to copyright restrictions, the availability of relevant digitized literary works is limited. Derived Text Formats (DTFs) have been proposed as a solution. Here, textual materials are transformed in such a way that copyright-critical features are removed, but that the use of certain analytical methods remains possible. Contextualized word embeddings produced by transformer-encoders (like BERT) are promising candidates for DTFs because they allow for state-of-the-art performance on various analytical tasks and, at first sight, do not disclose the original text. However, in this paper we demonstrate that under certain conditions the reconstruction of the original copyrighted text becomes feasible and its publication in the form of contextualized word representations is not safe. Our attempts to invert BERT suggest, that publishing parts of the encoder together with the contextualized embeddings is critical, since it allows to generate data to train a decoder with a reconstruction accuracy sufficient to violate copyright laws.

研究の動機と目的

• BERTの文脈的単語埋め込みが、元の著作権のある文学的テキストに再構築可能かどうかを調査すること。
• BERTエンコーダーと埋め込みが共有されている場合に、デジタル・ヒューマニティーズ分野における派生テキスト形式（DTFs）のセキュリティを評価すること。
• 文脈的埋め込みから元のテキストを再構築可能なデコーダーモデルを訓練可能かどうかを評価すること。
• BERTベースのDTFの公開が著作権法に違反する状況を特定すること。

提案手法

• 著者たちは、BERTエンコーダーと文脈的埋め込みを用いて、元のテキストを再構築するデコーダーモデルを訓練した。
• 反転技術を適用し、各トークン位置に対して文脈的表現に基づく候補トークンを生成した。
• 予測されたトークンと元のトークンの間の再構築損失を最小化するようにデコーダーを最適化した。
• この手法は、反転のためにBERTエンコーダーと文脈的埋め込みの両方が利用可能であることに依存している。
• 再構築プロセスでは、逐次的なトークン予測を行う自己回帰的生成を用い、文の流れや一貫性を向上させた。
• 標準的な自然言語処理指標（BLEUや正確一致）を用いて再構築品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 BERTの文脈的埋め込みから、エンコーダーも利用可能な場合に元のテキストを再構築できるか？
• RQ2 訓練されたデコーダーを用いてBERT埋め込みからどれほど高い再構築正確さが達成できるか？
• RQ3 BERTエンコーダーと埋め込みを公開すると、どのような条件下で著作権法に違反するか？
• RQ4 文脈的表現が、テキスト再構築に十分な構造的・意味的情報を保持しているか？
• RQ5 BERT埋め込みに基づくDTFは、文学コーパスのプライバシーと法的準拠にどの程度脅かを及えるか？

主な発見

• BERTの文脈的埋め込みから元の文学的テキストを再構築することは、エンコーダーモデルが公開されている場合に可能である。
• 達成された再構築正確さは、著作権法に違反するに十分な水準に達しており、出力は意味的に整合的かつ元のテキストに忠実である。
• BERTエンコーダーと文脈的埋め込みを公開することで、元のテキストの内容と形式を再現可能なデコーダーの訓練が可能になる。
• 本研究は、BERT埋め込みに基づくDTFが、著作権のある文学的作品を共有する安全な代替手段ではないことを示している。
• 結果から、特定の条件下では匿名化された埋め込みでも逆方向に復元可能であることが示され、デジタル・ヒューマニティーズ分野におけるデータプライバシーの仮定が揺るがされた。