[논문 리뷰] Neural Linguistic Steganography

Zachary M. Ziegler, Yuntian Deng외 1명|arXiv (Cornell University)|2019. 09. 03.

Authorship Attribution and Profiling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델을 사용하여 비밀 메시지를 자연어 커버 텍스트에 삽입하는 신경어휘 스테고그래피 방법을 제안한다. 이 방법은 커버 텍스트 분포를 언어 모델 분포와 일치시켜 통계적으로 최적에 가까운 보안을 달성하며, 인간 평가를 통해 생성된 문장이 맥락적 단서가 있는 경우조차 인간이 작성한 텍스트와 구분되지 않는다는 것이 확인되었다.

ABSTRACT

Whereas traditional cryptography encrypts a secret message into an unintelligible form, steganography conceals that communication is taking place by encoding a secret message into a cover signal. Language is a particularly pragmatic cover signal due to its benign occurrence and independence from any one medium. Traditionally, linguistic steganography systems encode secret messages in existing text via synonym substitution or word order rearrangements. Advances in neural language models enable previously impractical generation-based techniques. We propose a steganography technique based on arithmetic coding with large-scale neural language models. We find that our approach can generate realistic looking cover sentences as evaluated by humans, while at the same time preserving security by matching the cover message distribution with the language model distribution.

연구 동기 및 목표

• 실제 언어 분포와의 통계적 편차를 최소화하면서 자연어에 비밀 메시지를 숨기는 스테고그래피 시스템을 개발하는 것.
• 현대의 대규모 언어 모델을 활용하여 인간이 작성한 텍스트와 구분되지 않는 유창하고 맥락에 적절한 커버 텍스트를 생성하는 것.
• 생성된 커버 분포 q와 진짜 언어 모델 분포 p(y) 사이의 KL 발산을 최소화하여 통계적 보안을 거의 최적 수준으로 달성하는 것.
• 특히 맥락 제약 조건 하에서 알고리즘 기반 스테고그래피 분석 및 인간 탐지에 대한 시스템의 효과성을 평가하는 것.

제안 방법

• 이 방법은 비밀 메시지 비트를 사전에 훈련된 언어 모델의 확률 분포를 따르는 토큰 시퀀스로 매핑하기 위해 산술부호화를 사용한다.
• 비밀 메시지를 커버 텍스트로 매핑하는 결정적이고 가역적인 함수 f를 사용하여 수신자가 일관되게 복호화할 수 있도록 보장한다.
• 언어 모델 p(y)가 사전 분포로 기능하며, 스테고그래피 함수 f는 결과적으로 생성된 커버 분포 q가 p(y)에 가능한 한 가까이 맞추어지도록 설계되어 KL(q||p(y))를 최소화한다.
• 커버 텍스트는 주어진 맥락에 조건부로 생성되며, 이는 일관성과 맥락적 타당성을 향상시킨다.
• 비밀 메시지 자체가 자연어인 경우, 먼저 빈 맥락을 사용한 산술부호화로 메시지를 균일 분포 비트로 압축한 후 커버 텍스트에 삽입한다.
• 이 방법은 최신 기술의 언어 모델을 사용하며, 공개된 코드와 실시간 데모를 지원하는 엔드 투 엔드 생성 및 복호화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 산술부호화와 대규모 언어 모델을 조합하여 실제 인간 텍스트와 통계적으로 구분되지 않는 커버 텍스트를 생성할 수 있는가?
• RQ2 생성된 커버 텍스트가 맥락 기반 계속 작성 작업에서 인간 평가자들을 얼마나 오랫동안 속일 수 있는가?
• RQ3 다양한 인코딩 속도(단어당 비트 수)에서 KL 발산으로 측정한 시스템의 보안 수준은 어떻게 비교되는가?
• RQ4 유의미한 커버 텍스트와 관련이 없는 자연어 메시지를 효율적으로 삽입할 수 있는가? 이때 유창성과 일관성은 유지되는가?
• RQ5 대규모 언어 모델을 사용할 경우 히وري스틱 또는 규칙 기반 생성 방법에 비해 스테고그래피 성능이 뚜렷이 향상되는가?

주요 결과

• 대규모 언어 모델을 사용한 산술부호화는 4e-8 nats의 KL 발산을 달성하여 진짜 언어 모델 분포와 거의 완벽하게 통계적으로 구분되지 않는다는 것을 보여준다.
• 단어당 1비트에서 인간 평가 결과, 생성된 커버 텍스트는 인간이 작성한 텍스트와 통계적으로 구분되지 않으며, 50% 이상의 참가자가 이를 자연스러운 이어침으로 평가했다.
• 인간 평가 결과 허프만 부호화와 산술부호화 모두 유창한 커버 텍스트를 생성하지만, 산술부호화는 낮은 KL 발산으로 더 높은 보안성을 확보했다.
• 시스템은 관련 없고 무해한 커버 텍스트에 자연어 메시지를 성공적으로 삽입했으며, 메시지와 커버 내용은 크게 다를 뿐만 아니라 유창성과 일관성이 유지되었다.
• 낮은 압축 속도(예: 1비트/단어)에서 최적의 성능을 달성하여 커버 텍스트는 보안성과 인간 탐지 불가성을 동시에 확보했으며, 더 나은 언어 모델을 사용할수록 성능이 향상되었다.
• 현대 언어 모델을 직접 스테고그래피 시스템에 통합함으로써 보안성과 생성 품질을 최대화할 수 있음을 입증했다.