[論文レビュー] Perfectly Secure Steganography Using Minimum Entropy Coupling

Christian Schroeder de Witt, Samuel Sokota+3 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Steganography and Watermarking Techniques被引用数 12

ひとこと要約

本稿では、最小エントロピー結合（MEC）を活用することで、任意のカバーテキスト分布に対して完全な情報理論的セキュリティを達成する新しいステガノグラフィー枠組みを提案する。完全なセキュリティが暗号文とカバーテキストの間の結合に依存することを証明し、最大の効率は結合のエントロピーが最小となる場合に達成される——これが最小エントロピー結合（MEC）である。深層生成モデルを用いたスケーラブルで情報理論的に安全な通信が可能となり、実験的性能は既存のベースラインを上回る。

ABSTRACT

Steganography is the practice of encoding secret information into innocuous content in such a manner that an adversarial third party would not realize that there is hidden meaning. While this problem has classically been studied in security literature, recent advances in generative models have led to a shared interest among security and machine learning researchers in developing scalable steganography techniques. In this work, we show that a steganography procedure is perfectly secure under Cachin (1998)'s information-theoretic model of steganography if and only if it is induced by a coupling. Furthermore, we show that, among perfectly secure procedures, a procedure maximizes information throughput if and only if it is induced by a minimum entropy coupling. These insights yield what are, to the best of our knowledge, the first steganography algorithms to achieve perfect security guarantees for arbitrary covertext distributions. To provide empirical validation, we compare a minimum entropy coupling-based approach to three modern baselines -- arithmetic coding, Meteor, and adaptive dynamic grouping -- using GPT-2, WaveRNN, and Image Transformer as communication channels. We find that the minimum entropy coupling-based approach achieves superior encoding efficiency, despite its stronger security constraints. In aggregate, these results suggest that it may be natural to view information-theoretic steganography through the lens of minimum entropy coupling.

研究の動機と目的

• 完全なステガノグラフィーのセキュリティと確率的分布の結合の間の正式な関係を確立すること。
• 完全なセキュリティのもとで、情報スループットを最大化する条件を同定すること。
• 深層生成モデルを用いて、任意のカバーテキスト分布に適用可能なスケーラブルで実用的なステガノグラフィー・システムを開発すること。
• MECに基づくステガノグラフィーが完全なセキュリティ（ゼロのKLダイバージェンス）と、既存手法を上回る符号化効率を同時に達成することを実証的に検証すること。

提案手法

• 理論的枠組みにより、ステガノグラフィー手順が暗号文とカバーテキスト分布の間の結合によって誘導される場合に限り、完全なセキュリティが達成されることを確立する。
• この方法では、完全に安全なすべての手順の中で、結合の結合エントロピーが最小となる場合にのみ、最大の情報スループットが達成されることを同定する——これが最小エントロピー結合（MEC）に相当する。
• 反復的MEC（iMEC）アルゴリズムを用いて、因数分解可能な暗号文分布と自己回帰的に指定されたカバーテキスト分布との間の結合を構築する。これは、巨大または無限大のサポートを持つ場合にも適用可能である。
• 暗号文が一様にランダムに見えるように設計することで、結合分布が必要な周辺分布と一致し、同時にエントロピーを最小化する。
• 結合エントロピーが最適でない場合でも最大1ビット以内に抑えられる近似アルゴリズムを活用し、同時に正確な周辺分布を保持する。
• 実験的評価では、GPT-2、WaveRNN、Image Transformerをカバーテキスト生成器として用い、iMECを算術符号化、Meteor、ADGと比較し、KLダイバージェンスとステップあたりビット数の指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 完全なステガノグラフィーのセキュリティは、暗号文とカバーテキスト分布の間の結合の存在と同値であるか？
• RQ2 最小エントロピー結合を用いることで、完全に安全かつ高効率なステガノグラフィー・システムを構築できるか？
• RQ3 MECに基づくステガノグラフィー手法は、既存の情報理論的ベースラインと比較して、セキュリティと符号化効率の両面で優れているか？
• RQ4 iMECは、複雑で高次元のカバーテキスト分布を持つ深層生成モデルへスケーリング可能か？

主な発見

• iMECに基づくアプローチにおけるステガノテキストとカバーテキスト分布間のKLダイバージェンスは、数値精度のオーダーであり、理論的完全セキュリティ保証が確認された。
• GPT-2、WaveRNN、Image Transformerの全モデルにおいて、iMECベースの手法は算術符号化、Meteor、ADGを上回る高い符号化効率（ステップあたり伝送ビット数）を達成した。
• 完全に安全なステガノグラフィー手順の中で、最小エントロピー結合によって誘導されるものが、理論的に情報スループットを最大化することが証明された。
• 本手法は、任意のカバーテキスト分布に対して完全なセキュリティを達成した最初の手法であり、従来の手法が均一分布など特定の分布に限定されていたという制限を克服した。
• 実験的結果から、MECベースのステガノグラフィーを用いる場合、Cachinのモデル下で統計的ステガノグラフィー解析が無効であることが示された。これは、KLダイバージェンスがほぼゼロであるためである。
• iMECアルゴリズムは、因数分解可能な暗号文と自己回帰的カバーテキスト分布との間の結合を成功裏に構築でき、複雑な深層生成モデルへのスケーラビリティを実現した。