[论文解读] Graph-Stega: Semantic Controllable Steganographic Text Generation Guided by Knowledge Graph

Zhongliang Yang, Baitao Gong+4 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Steganography and Watermarking Techniques参考文献 32被引用 8

一句话总结

本文提出 Graph-Stega，一种新颖的文本生成隐写方法，利用知识图谱（KG）通过编码 KG 路径而非词级概率编码来引导隐写句子的生成。该方法即使在高嵌入率下也能生成高质量、语义可控的隐写文本，且在文本质量和语义相关性方面优于现有方法。

ABSTRACT

Most of the existing text generative steganographic methods are based on coding the conditional probability distribution of each word during the generation process, and then selecting specific words according to the secret information, so as to achieve information hiding. Such methods have their limitations which may bring potential security risks. Firstly, with the increase of embedding rate, these models will choose words with lower conditional probability, which will reduce the quality of the generated steganographic texts; secondly, they can not control the semantic expression of the final generated steganographic text. This paper proposes a new text generative steganography method which is quietly different from the existing models. We use a Knowledge Graph (KG) to guide the generation of steganographic sentences. On the one hand, we hide the secret information by coding the path in the knowledge graph, but not the conditional probability of each generated word; on the other hand, we can control the semantic expression of the generated steganographic text to a certain extent. The experimental results show that the proposed model can guarantee both the quality of the generated text and its semantic expression, which is a supplement and improvement to the current text generation steganography.

研究动机与目标

• 解决现有文本隐写方法依赖条件概率编码所带来的局限性，此类方法在高嵌入率下会降低文本质量。
• 克服先前生成式隐写模型缺乏语义控制的问题，从而降低被检测的风险。
• 开发一种隐写框架，无论嵌入率如何，均能保持高质量输出和语义连贯性。
• 提出一种基于知识图谱引导的方法，通过语义路径编码秘密信息，从而增强安全性和鲁棒性。

提出的方法

• 用基于 KG 的生成机制替代传统的“语言模型 + 条件概率编码”框架，通过知识图谱中的路径来编码秘密数据。
• 通过在语义链中使用固定或可变数量的节点来控制嵌入率，同时保持语义连贯性。
• 通过沿选定路径遍历 KG 生成隐写句子，确保使用高概率、自然语言的词元。
• 应用标准 NLP 指标（BLEU、METEOR、CIDEr、ROUGE-L）和困惑度评估语义相关性和文本质量。
• 利用先前研究中的隐写分析模型，在不同嵌入率下测试对检测的抵抗能力。
• 通过在 KG 子图中固定特定节点来控制语义表达，实现在不牺牲嵌入容量的前提下实现目标生成。

实验结果

研究问题

• RQ1 基于 KG 的方法是否能在不依赖低概率词选择的情况下，于高嵌入率下维持高质量的隐写文本生成？
• RQ2 能否通过 KG 子图在多大程度上控制生成的隐写句子的语义内容？
• RQ3 在不同嵌入率下，生成的隐写句子与输入 KG 子图之间的语义相关性如何变化？
• RQ4 与现有神经隐写方法相比，所提出的方法是否表现出更强的抗隐写分析能力？

主要发现

• 在 2.49 比特每词（bpw）的嵌入率下，模型的 BLEU-1 得分为 0.365，METEOR 为 0.224，ROUGE-L 为 0.460，表明与参考文本具有较强的语义对齐。
• 在 2.49 bpw 下，生成隐写句子的困惑度为 186.05，接近训练句子的困惑度（164.53），证实即使在高嵌入率下仍保持高质量文本。
• 语义相关性指标在不同嵌入率下保持稳定，仅有轻微波动，表明在各种条件下均表现一致。
• 在 2.49 bpw 下，隐写分析模型的 F1 分数为 0.775，表明对检测具有中等程度的抵抗能力，暗示相比基线方法安全性有所提升。
• 该方法成功实现了语义控制与嵌入率的解耦，允许用户在 KG 中固定特定节点以引导内容，同时保持高质量输出。