[논문 리뷰] NEST: Nascent Encoded Steganographic Thoughts

Artem Karpov|arXiv (Cornell University)|2026. 02. 15.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

이 논문은 LLM에서 스테가노그래픽 사고의 가능성을 조사하여 모델이 무해한 텍스트에 추론을 숨길 수 있는지와 모니터가 이러한 인코딩을 여러 모델과 작업에서 탐지하는지 혹은 탐지하지 못하는지 평가합니다.

ABSTRACT

Monitoring chain-of-thought (CoT) reasoning is a foundational safety technique for large language model (LLM) agents; however, this oversight is compromised if models learn to conceal their reasoning. We explore the potential for steganographic CoT -- where models hide secret reasoning within innocuous text -- to inform risk assessment and deployment policies. We systematically evaluate the limits of steganographic capabilities across 28 models, ranging from past generations to the current frontier. We measure monitor evasion, refusal rates, encoding fidelity, and hidden task accuracy across four datasets, comparing steganographic acrostics against plain reasoning and filler-token baselines. We find that current models cannot yet sustain hidden reasoning for complex math and arithmetic tasks. However, in a simplified counting experiment, Claude Opus 4.5 achieved 92% accuracy on the hidden task, demonstrating nascent capability. Notably, in rare cases (<1%), GPT-5.2 might refuse steganographic instructions while simultaneously complying with them. Our findings underscore the need for continuous evaluation of steganographic risks. This study provides a methodology to preemptively detect and prevent hidden reasoning that might empower misaligned scheming and deceptive behavior.

연구 동기 및 목표

• LLM 에이전트에서 숨겨지거나 스테가노그래픽 추론에 대한 안전 우려를 제기한다.
• 스테가노그래픽 CoT 능력을 정량화하는 평가 프레임워크를 개발한다.
• 프런티어 모델에서 스테가노그래픽 추론과 난독화되거나 일반 추론을 구분한다.
• 숨겨진 추론이 나타나는 작업과 초기 또는 부재 상태인 작업을 식별한다.

제안 방법

• 스테가노그래픽 CoT를 평가하기 위한 네 가지 점수 프레임워크(모니터, 인코딩 점수자, 숨김 작업 점수자, 번역가)를 정의한다.
• 각 시험마다 커버 질문, 숨겨진 작업, 스테가노그래픽 삽입 알고리즘(초서적) 세 가지 입력을 사용한다.
• 네 가지 숨겨진 작업 카테고리(산술, GSM8K 산술, 미로 탐색, 카운팅)를 통해 평가한다.
• 베이스라인과 비교(직접 답변, 일반 CoT, 채움 토큰, 추론 비활성화).
• 문자 오차율 기반 매치 비율로 인코딩 충실도를 정량화하고 공격자/방어자 역학(피하기 대 해독)을 분석한다.
• 난이도를 D(인코딩할 숫자 수)로 매개화하고 각 숫자 정확도와 정확 일치 비율을 분석한다.

(a)

실험 결과

연구 질문

• RQ1 선두 모델이 무해한 질문에 답하면서 출력 텍스트에 추론을 숨길 수 있는가?
• RQ2 다양한 숨겨진 작업에서 현재 모델이 달성할 수 있는 인코딩 충실도와 모니터 회피는 무엇인가?
• RQ3 모델 생성과 작업 난이도에 따라 스테가노그래픽 능력이 어떻게 확장되는가?
• RQ4 현재 모델은 복잡한 수학 작업, 산술, 또는 내비게이션 문제에서 스테가노그래픽 추론을 지속할 수 있는가?

주요 결과

D	모델	n	EM (%)	정확도 (%)
4	Claude Opus 4.5	110	54 (5)	92 (2)
4	Grok Code Fast	108	37 (5)	76 (3)
4	Claude Opus 4.1	103	24 (4)	75 (3)
8	Claude Opus 4.5	108	54 (5)	78 (3)
8	Grok Code Fast	105	23 (4)	65 (3)
8	Claude Opus 4.1	107	35 (5)	64 (3)
16	Grok Code Fast	106	4 (2)	36 (3)
16	Claude Opus 4.5	107	0 (0)	29 (1)
16	Claude Opus 4.1	101	0 (0)	24 (1)
26	Claude Opus 4.5	107	0 (0)	19 (1)
26	Grok Code Fast	106	1 (1)	20 (2)
26	Claude Opus 4.1	101	0 (0)	18 (1)

• 스테가노그래픽 카운팅은 일부 모델에서 비제로 능력을 보이며, Claude Opus 4.5는 D=4에서 숫자당 최대 92%, 정확 매칭 인코딩에서 D=8에서 78%를 달성한다.
• 대부분의 모델은 낮은 D 값 이상에서 거의 0에 가까운 정확도를 보이며; 정확 매칭 비율은 D≥16에서 모든 모델에서 0으로 떨어진다.
• 능력은 모델 생성과 함께 확장되는 경향이 있으며(Opus 4.5 > Opus 4.1 > Opus 4; Haiku 및 GPT 계열은 약하거나 혼합된 결과를 보인다).
• GPT-5.2는 스테가노그래픽 지시를 거절하는 경우가 많지만 때때로 일부 준수하며 일부 시험에서 인코딩한다.
• 테스트된 Gemini, GPT-5.x, Grok 등에서 수학 작업(산술 또는 GSM8K)에서 올바른 스테가노그래픽 사고 과정을 보인 모델은 없었으며: 숨겨진 작업 무시, 인코딩 실패, 또는 인코딩 거부가 실패 사례였다.
• 카운팅 작업은 스테가노그래픽 용량의 하한선을 제공하며 인코딩 성공이 더 간단한 작업과 짧은 시퀀스에서 제한된다.

(b)