[論文レビュー] Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography

Minhao Bai. Jinshuai Yang, Kaiyi Pang+2 more|arXiv (Cornell University)|May 15, 2024

Advanced Steganography and Watermarking Techniques被引用数 5

ひとこと要約

本論文は、LoRAファインチューニングを用いた指示調整済み大規模言語モデル（LLMs）を用いて、領域固有および領域非依存の言語的ステガノ分析を検討し、従来のベースラインよりステガノグラフィックなテキストの検出に優れていることを示す。

ABSTRACT

Linguistic steganography provides convenient implementation to hide messages, particularly with the emergence of AI generation technology. The potential abuse of this technology raises security concerns within societies, calling for powerful linguistic steganalysis to detect carrier containing steganographic messages. Existing methods are limited to finding distribution differences between steganographic texts and normal texts from the aspect of symbolic statistics. However, the distribution differences of both kinds of texts are hard to build precisely, which heavily hurts the detection ability of the existing methods in realistic scenarios. To seek a feasible way to construct practical steganalysis in real world, this paper propose to employ human-like text processing abilities of large language models (LLMs) to realize the difference from the aspect of human perception, addition to traditional statistic aspect. Specifically, we systematically investigate the performance of LLMs in this task by modeling it as a generative paradigm, instead of traditional classification paradigm. Extensive experiment results reveal that generative LLMs exhibit significant advantages in linguistic steganalysis and demonstrate performance trends distinct from traditional approaches. Results also reveal that LLMs outperform existing baselines by a wide margin, and the domain-agnostic ability of LLMs makes it possible to train a generic steganalysis model (Both codes and trained models are openly available in https://github.com/ba0z1/Linguistic-Steganalysis-with-LLMs).

研究の動機と目的

• AI生成テキストとステガノグラフィーの時代における堅牢な言語的ステガノ分析を動機付ける。
• LLMsを用いて検出を行う生成的で人間の知覚に基づくアプローチを提案する。
• 複数のデータセットと埋め込み方法にわたるLoRAファインチューニングを含む指示調整LLMsの有効性を評価する。

提案手法

• モデル： Bloomz-7B1 および Llama-7B を LoRA ファインチューニング（trainable params < 0.1%）.
• 指示テンプレートでファインチューニングして読みやすい検出結果を生成する。
• AC、HC、ADG 埋め込み方法によって生成された自然文とステガノグラフィック文のデータセットで訓練する。
• US/UN サンプルを扱うために再定義された指標を用いて正確度とF1スコアで評価する。
• クロスドメイン一般化のために複数のデータセットをブレンディングしてドメイン非依存の訓練設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 指示調整済みのLLMとLoRAファインチューニングは、領域特異的な言語的ステガノ分析タスクにおいて従来のステガノ分析ベースラインを上回ることができるか？
• RQ2 領域非依存設定で、異なるステガノグラフィックアルゴリズムとデータセットに対してLLMsは一般化できるか？
• RQ3 訓練エポック、文長、プロンプト設計はステガノ分析の性能にどのような影響を与えるか？
• RQ4 LLMsの人間的なテキスト知覚能力はステガノグラフィーの検出においてどのような役割を果たすか？

主な発見

• ファインチューニング済みLLMs（Bloomz/Llama）は領域特異的なステガノ分析で最先端の性能を達成し、AC、HC、ADGデータセット全体でベースラインを上回る。
• 指示ファインチューニングにより、BERTベースのベースラインよりはるかに少ない訓練可能パラメータで高精度にステガノグラフィックテキストを検出できる。
• 多様な事前学習データで訓練されたLLMsは強力なクロスドメイン検出能力を示し、汎用的なステガノ分析モデルを可能にする。
• Movieデータセットでの検出精度は約90%、F1も高い。HCエンコードは一部設定でAC/ADGより検出しやすい。
• 短い文と高い流暢さ（低パープレキシティ）は誤分類パターンに影響を与え、検出手がかりとしてテキストの流暢さ/合理性に依存していることを示す。
• ブレンディングされたデータセットで訓練したドメイン非依存モデルは、未知の文脈でデータセット固有のベースラインを上回ることができる。