[논문 리뷰] Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography

Minhao Bai. Jinshuai Yang, Kaiyi Pang외 2명|arXiv (Cornell University)|2024. 05. 15.

Advanced Steganography and Watermarking Techniques인용 수 5

한 줄 요약

본 논문은 도메인 특화 및 도메인-비특화 언어적 스테가날라이시스에서 LoRA 미세 조정을 사용한 지시문-조정 대형 언어 모델(LLMs)의 활용을 조사하고, 기존 기준선에 비해 스테가노그래픽 텍스트를 더 우수하게 탐지함을 보여준다.

ABSTRACT

Linguistic steganography provides convenient implementation to hide messages, particularly with the emergence of AI generation technology. The potential abuse of this technology raises security concerns within societies, calling for powerful linguistic steganalysis to detect carrier containing steganographic messages. Existing methods are limited to finding distribution differences between steganographic texts and normal texts from the aspect of symbolic statistics. However, the distribution differences of both kinds of texts are hard to build precisely, which heavily hurts the detection ability of the existing methods in realistic scenarios. To seek a feasible way to construct practical steganalysis in real world, this paper propose to employ human-like text processing abilities of large language models (LLMs) to realize the difference from the aspect of human perception, addition to traditional statistic aspect. Specifically, we systematically investigate the performance of LLMs in this task by modeling it as a generative paradigm, instead of traditional classification paradigm. Extensive experiment results reveal that generative LLMs exhibit significant advantages in linguistic steganalysis and demonstrate performance trends distinct from traditional approaches. Results also reveal that LLMs outperform existing baselines by a wide margin, and the domain-agnostic ability of LLMs makes it possible to train a generic steganalysis model (Both codes and trained models are openly available in https://github.com/ba0z1/Linguistic-Steganalysis-with-LLMs).

연구 동기 및 목표

• AI 생성 텍스트와 스테가노그래피 시대에 견고한 언어적 스테가날라이시스를 촉진한다.
• 스테가노그래피를 탐지하기 위해 LLM을 활용한 생성적이며 인간 지각 기반의 접근법을 제안한다.
• 다중 데이터셋과 임베딩 방법에 걸쳐 지시문-조정된 LLM과 LoRA 미세 조정의 효과를 평가한다.

제안 방법

• 모델: Bloomz-7B1 및 Llama-7B에 LoRA 미세 조정(학습 가능한 파라미터 < 0.1%).
• 읽기 가능한 탐지 결과를 생성하기 위해 지시 템플릿으로 미세 조정한다.
• AC, HC, 및 ADG 임베딩 방법으로 생성된 자연스러운 텍스트 대 스테가노그래픽 텍스트 데이터셋으로 훈련한다.
• US/UN 샘플을 다루기 위한 재정의된 지표로 정확도와 F1 점수로 평가한다.
• 교차 도메인 일반화를 위해 여러 데이터셋을 블렌더링(blender-ing)하여 도메인 비특화 학습 설정을 사용한다.

실험 결과

연구 질문

• RQ1 지시문-조정된 LLM과 LoRA 미세 조정이 도메인 특화 언어적 스테가날라이시스 작업에서 전통적 스테가날라이시스 기준선보다 성능을 능가할 수 있는가?
• RQ2 도메인 비특화 설정에서 다른 스테가노그래픽 알고리즘 및 데이터셋에 대해 LLM이 일반화하는가?
• RQ3 훈련 에포크 수, 문장 길이, 프롬프트 설계가 스테가날라이시스 성능에 어떤 영향을 미치는가?
• RQ4 LLM의 인간과 유사한 텍스트 지각 능력이 스테가노그래피 탐지에 어떤 역할을 하는가?

주요 결과

• 미세 조정된 LLM(Bloomz/Llama)는 도메인 특화 스테가날라이시스에서 최첨단 성능을 달성하며 AC, HC, 및 ADG 데이터셋 전반에서 기준선을 능가한다.
• 지시문 미세 조정으로 LLM이 BERT 기반 기준선보다 훨씬 적은 학습 가능한 파라미터로도 스테가노그래픽 텍스트를 높은 정확도로 탐지할 수 있게 한다.
• 다양한 사전 학습 데이터로 학습된 LLM은 강력한 교차 도메인 탐지 능력을 발휘하여 일반적인 스테가날라이시스 모델을 가능하게 한다.
• Movie 데이터셋에서 탐지 정확도는 약 90%에 이르며 강한 F1 성능을 보이고, HC 인코딩은 일부 설정에서 AC/ADG보다 탐지가 더 용이하다.
• 짧은 문장과 더 높은 유창성(낮은 perplexity)이 오판 패턴에 영향을 미치며, 텍스트의 유창성/합리성을 탐지 신호로 의존하는 것을 시사한다.
• 블렌딩된 데이터셋에서 학습된 도메인 비특화 모델은 미처 볼 수 없는 맥락에서 데이터셋 특화 기준선을 능가할 수 있다.