[論文レビュー] Exploiting Language Model for Efficient Linguistic Steganalysis

Biao Yi, Hanzhou Wu+2 more|arXiv (Cornell University)|Jul 26, 2021

Advanced Steganography and Watermarking Techniques被引用数 4

ひとこと要約

本稿では、ステガノグラフィーとキャリアテキストの間の語の条件付き確率分布における統計的差を活用することで、言語的ステガノグラフィー分析の性能を向上させる2つの事前学習手法——言語モデルに基づくRNN（LM-RNN）とオートエンコーダーに基づくRNN（AE-RNN）——を提案する。これらの手法は、ランダムに初期化されたRNNと比較して、検出精度と収束速度を顕著に向上させ、特にステガノグラフィー用テキストがキャリアテキストよりも少ない不均衡データの状況においても最先端の性能を達成する。

ABSTRACT

Recent advances in linguistic steganalysis have successively applied CNN, RNN, GNN and other efficient deep models for detecting secret information in generative texts. These methods tend to seek stronger feature extractors to achieve higher steganalysis effects. However, we have found through experiments that there actually exists significant difference between automatically generated stego texts and carrier texts in terms of the conditional probability distribution of individual words. Such kind of difference can be naturally captured by the language model used for generating stego texts. Through further experiments, we conclude that this ability can be transplanted to a text classifier by pre-training and fine-tuning to improve the detection performance. Motivated by this insight, we propose two methods for efficient linguistic steganalysis. One is to pre-train a language model based on RNN, and the other is to pre-train a sequence autoencoder. The results indicate that the two methods have different degrees of performance gain compared to the randomly initialized RNN, and the convergence speed is significantly accelerated. Moreover, our methods achieved the best performance compared to related works, while providing a solution for real-world scenario where there are more cover texts than stego texts.

研究の動機と目的

• 生成的テキストステガノグラフィーにおける秘密情報の検出という深層学習の挑戦に取り組む。
• ステガノグラフィーに使用される言語モデルが、ステガノグラフィー分析の性能向上に再利用可能かどうかを調査する。
• キャリアテキストがステガノグラフィー用テキストよりも著しく多い状況でも、一般化性能に優れた効率的な事前学習モデルを開発する。
• キャリアテキストの分布に基づく事前学習により、モデルの収束を加速し、検出精度を向上させる。

提案手法

• 大規模なキャリアテキスト上でRNNベースの言語モデルを事前学習し、語の条件付き確率分布を捉える。これは、ステガノグラフィーとキャリアテキストの間の統計的差を反映する。
• 事前学習済みの言語モデルを微調整して、生成テキスト内の隠しメッセージを検出するステガノグラフィー分類器として利用する。
• シーケンスオートエンコーダーを用いて事前学習し、次単語予測を超えた文レベルの表現を学習することで、テキストのグローバル構造をよりよくモデル化する。
• 微調整により、事前学習済みの言語モデルまたはオートエンコーダーから、下流のRNN分類器への知識を転移する。
• 事前学習段階で大規模でラベルなしのキャリアテキストコーパスを用い、エンドツーエンドでクロスエントロピー損失を最適化することで、一般化性能を向上させる。
• 複数のデータセット（MOVIE、TWITTER）およびステガノグラフィー手法（VLC、FLC、Bins）を用い、埋め込みレート（1、2、3 bpw）を変化させた状況で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 生成的ステガノグラフィーに使用される言語モデルの統計的特性を活用することで、ステガノグラフィー分析の性能向上が可能か？
• RQ2 キャリアテキスト上で言語モデルまたはオートエンコーダーを事前学習することで、ランダム初期化と比較して検出精度が向上し、収束が早くなるか？
• RQ3 事前学習データサイズの増加に伴い、事前学習モデルの性能はどのように変化するか？
• RQ4 キャリアテキストがステガノグラフィー用テキストよりも著しく多い現実世界の不均衡データセットにおいて、事前学習モデルは効果的に一般化可能か？

主な発見

• 提案手法のLM-RNNおよびAE-RNNは、GNN、CNN、FCN、およびランダム初期化されたRNNと比較して、最先端の検出精度を達成する。
• AE-RNNはLM-RNNよりもわずかに優れた性能を示しており、これは次単語予測にとどまらず、文全体の表現をモデル化できる点に起因すると考えられる。
• 事前学習により収束が著しく加速され、トレーニング曲線（図6）で損失の低下が速やかに観察された。
• 事前学習データサイズが大きくなるほど性能が向上：MOVIEデータセットにおける平均正解率は、事前学習データが6.3kから18kに増加したことで0.9474から0.9535に上昇した。
• データがバランスしている状況で最も良い結果が得られたが、極めて不均衡なデータに対しても効果的であり、実運用に適している。