[論文レビュー] Neural Linguistic Steganography

Zachary M. Ziegler, Yuntian Deng+1 more|arXiv (Cornell University)|Sep 3, 2019

Authorship Attribution and Profiling参考文献 17被引用数 4

ひとこと要約

本稿では、大規模言語モデルを用いた算術符号化を用いて、秘密のメッセージを自然言語のカバーテキストに埋め込むニューラル言語的ステガノグラフィー手法を提案する。この手法は、カバーテキストの分布を言語モデルの分布に一致させることで、近似的に最適な統計的セキュリティを達成する。一方、人間による評価では、文脈的ヒントが与えられた状況下でも、生成された文が人間が書いたテキストと区別できないことが確認された。

ABSTRACT

Whereas traditional cryptography encrypts a secret message into an unintelligible form, steganography conceals that communication is taking place by encoding a secret message into a cover signal. Language is a particularly pragmatic cover signal due to its benign occurrence and independence from any one medium. Traditionally, linguistic steganography systems encode secret messages in existing text via synonym substitution or word order rearrangements. Advances in neural language models enable previously impractical generation-based techniques. We propose a steganography technique based on arithmetic coding with large-scale neural language models. We find that our approach can generate realistic looking cover sentences as evaluated by humans, while at the same time preserving security by matching the cover message distribution with the language model distribution.

研究の動機と目的

• 実際の言語分布からの統計的ずれを最小限に抑えて、自然言語に秘密のメッセージを隠すステガノグラフィー・システムの開発。
• 現代の大規模言語モデルを活用し、自然で文脈的に適切なカバーテキストを生成し、人間が書いたテキストと区別できないようにすること。
• 生成されたカバーテキスト分布と真の言語モデル分布との間のKLダイバージェンスを最小限に抑えることで、近似的に最適な統計的セキュリティを達成すること。
• アルゴリズム的ステガノグラフィー分析および人間による検出、特に文脈的制約下での有効性の評価。

提案手法

• この手法は、秘密メッセージのビットを、事前に訓練された言語モデルの確率分布に従うトークン列にマッピングする算術符号化を用いる。
• 秘密メッセージをカバーテキストにマップする決定的かつ逆転可能な関数 f を使用し、復号の再現性と受信者の一貫性を保証する。
• 言語モデル p(y) が事前分布として機能し、ステガノグラフィー関数 f は、生成されたカバーテキスト分布 q が p(y) にできるだけ近づくように設計され、KL(q||p(y)) を最小化する。
• カバーテキストが与えられた文脈に条件付けられて生成される文脈認識型符号化プロセスを採用し、一貫性と文脈的妥当性を向上させる。
• メッセージ自体が自然言語である場合、事前に空の文脈を用いた算術符号化でメッセージを一様分布のビットに圧縮し、その後カバーテキストに埋め込む。
• 最先端の言語モデルを用いて実装されており、公開コードとライブデモを提供し、エンド・ツー・エンドの生成と復号が可能である。

実験結果

リサーチクエスチョン

• RQ1 算術符号化と大規模言語モデルを組み合わせることで、本物の自然言語と統計的に区別できないカバーテキストを生成できるか？
• RQ2 文脈に基づく継続的生成タスクにおいて、生成されたカバーテキストが人間評価者をどれほど欺けるか？
• RQ3 符号化レート（1ワードあたりのビット数）が異なる場合、KLダイバージェンスで測定したセキュリティはどのように比較されるか？
• RQ4 自然言語のメッセージを、関連性のない無害なカバーテキストに効率的に埋め込むことができるか？ その際、滑らかさと一貫性を維持できるか？
• RQ5 大規模言語モデルを用いることで、ヒューリスティック的またはルールベースの生成手法と比較して、ステガノグラフィック性能が著しく向上するか？

主な発見

• 大規模言語モデルを用いた算術符号化により、KLダイバージェンスが 4e-8 nats に達し、真の言語モデル分布とほぼ完全に統計的に区別できないことが示された。
• 1 ビット／ワードの符号化レートにおいて、人間による評価で生成されたカバーテキストは、人間が書いたテキストと統計的に区別できず、50％を超える参加者が妥当な継続と判断した。
• 人間評価では、ハフマン符号化と算術符号化の両方とも滑らかなカバーテキストを生成したが、算術符号化は低いKLダイバージェンスを維持しており、より高いセキュリティが裏付けられた。
• 本システムは、関連性のない文脈的整合性のあるカバーテキストに自然言語のメッセージを効果的に埋め込むことに成功した。メッセージとカバーテキストの内容は顕著に異なっていたが、滑らかさは保たれた。
• 低圧縮レート（例：1 ビット／ワード）で最適なパフォーマンスを達成し、カバーテキストは安全かつ人間が検出できないが、より優れた言語モデルを用いることで性能は向上する。
• 現代の言語モデルを直接ステガノグラフィー・システムに統合することで、セキュリティと生成品質の両方を最大化できることが示された。