[논문 리뷰] Generating Steganographic Text with LSTMs

Tina Fang, Martin Jaggi외 1명|arXiv (Cornell University)|2017. 05. 30.

Authorship Attribution and Profiling참고 문헌 18인용 수 12

한 줄 요약

이 논문은 기밀 메시지를 자연어 내에 숨기는 고품질 스테고그래픽 텍스트를 생성하기 위해 장기 단기 기억(LSTM) 네트워크를 사용하는 새로운 신경 스테고그래픽 시스템을 제안한다. 학습된 어휘 내에서 비트 블록을 토큰 박스에 매핑함으로써 LSTM은 최대 2비트/단어의 용량을 가진 언어적으로 자연스러운 텍스트를 생성한다—기존 최고 수준의 방법들보다 크게 뛰어난 성능이다.

ABSTRACT

Motivated by concerns for user privacy, we design a steganographic system ("stegosystem") that enables two users to exchange encrypted messages without an adversary detecting that such an exchange is taking place. We propose a new linguistic stegosystem based on a Long Short-Term Memory (LSTM) neural network. We demonstrate our approach on the Twitter and Enron email datasets and show that it yields high-quality steganographic text while significantly improving capacity (encrypted bits per word) relative to the state-of-the-art.

연구 동기 및 목표

• 암호화되지 않은 메시지를 기반으로 타겟 광고를 수행하는 커뮤니케이션 플랫폼에서의 감시로 인한 프라이버시 위험을 해결하기 위해.
• 기존 커버 수정 스테고그래픽 시스템의 한계를 극복하기 위해, 이는 낮은 용량과 비자연스러운 언어 출력으로 인해 문제가 된다.
• 고품질의 인간과 유사한 스테고그래픽 텍스트를 생성할 수 있는 신경망 기반 스테고그래픽 시스템을 개발하기 위해.
• 수동적인 적이 메시지 트래픽을 모니터링하는 상황에서도 의심을 불러일으키지 않고 두 당사자 간에 안전하고 탐지 불가능한 통신을 가능하게 하기 위해.

제안 방법

• 공유 키를 사용하여 어휘를 2^{|B|}개의 상호배타적인 박스로 분할하며, 각 박스는 길이 |B|의 고유한 비트 블록에 대응한다.
• 수정된 단어 수준의 LSTM이 토큰 단위로 텍스트를 생성하도록 훈련되며, 현재 비트 블록에 해당하는 박스에서만 선택이 제한된다.
• 기밀 데이터는 압축되고 고정 길이의 비트 블록으로 분할되며, 이후 박스 매핑을 통한 토큰 선택 방식으로 스테고그래픽 텍스트에 임베딩된다.
• 문맥 일관성을 문장과 단락 전체에 걸쳐 유지하기 위해, 대규모 데이터셋(Twitter 및 Enron 이메일)에서 모델을 훈련한다.
• 박스 수를 조정하고 선택적으로 일반 토큰을 추가함으로써 용량과 품질 사이의 탄력적인 트레이드오프를 지원한다.
• 수동적인 후처리 조치가 적용되지 않으며, 스테고그래픽 텍스트는 Matryoshka 스타일의 인간 보조 시스템과는 달리 LSTM에 의해 직접 생성된다.

실험 결과

연구 질문

• RQ1 LSTM 기반 언어 모델은 언어적으로 자연스럽고 고용량 최적화가 가능한 스테고그래픽 텍스트를 생성할 수 있는가?
• RQ2 제안된 스테고그래픽 시스템의 용량은 기존 커버 수정 및 신경 스테고그래피 방법과 비교해 어떻게 되는가?
• RQ3 박스 제약 조건에도 불구하고 장거리 시퀀스에서 문맥 일관성과 문법 정확성이 얼마나 잘 유지되는가?
• RQ4 사람이나 자동 평가를 통해 평가했을 때, 외관 품질을 희생시키지 않고도 고용량을 달성할 수 있는가?
• RQ5 특히 기존 스테고그래픽 시스템과 비교했을 때, 스테고그래피 분석 도구나 인간 평가자에 의해 탐지되는 것을 얼마나 잘 견뎌내는가?

주요 결과

• 제안된 LSTM 기반 스테고그래픽 시스템은 트윗당 32비트의 용량(약 2비트/단어)을 달성하였으며, 최고 수준의 커버트윗 시스템(트윗당 2.8비트)보다 11배 이상 높은 성능을 보였다.
• 생성된 스테고그래픽 텍스트는 높은 언어 품질을 유지하였으며, 예시들은 실제 인간 트윗과 유사한 문법 정확성과 자연스러움을 보였다.
• 최대 4개의 박스를 사용하더라도 문장과 단락 간의 문맥 일관성이 유지되어, 박스 제약 조건에 대한 강건성을 입증하였다.
• 용량과 품질 사이의 탄력적인 트레이드오프를 가능하게 하였다: 박스 수를 늘리면 용량이 증가하고, 박스 수를 줄이고 일반 토큰을 추가하면 유창성이 향상된다.
• 이러한 제약 조건에도 불구하고, 기존 커버 수정 시스템보다 용량 면에서 뛰어나며, 이는 가능한 변환 옵션의 수에 의해 제한되는 기존 시스템과 대비된다.
• 초기 결과에 따르면 시스템은 인간 평가자에게서 탐지되기 어려울 수 있으나, 향후 작업에서 공식 평가를 수행할 예정이다.