[논문 리뷰] Can We Trust LLMs on Memristors? Diving into Reasoning Ability under Non-Ideality

Taiqiang Wu, Yuxin Cheng외 6명|arXiv (Cornell University)|2026. 03. 14.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

이 논문은 아날로그 컴퓨트-인-메모리에서의 메모리스터 비이상성이 LLM 추론에 미치는 영향을 분석하고, 학습 없이 적용 가능한 완화 전략을 평가하여 얕은 계층 중복성과 모드별 접근 방식의 권고를 제시한다.

ABSTRACT

Memristor-based analog compute-in-memory (CIM) architectures provide a promising substrate for the efficient deployment of Large Language Models (LLMs), owing to superior energy efficiency and computational density. However, these architectures suffer from precision issues caused by intrinsic non-idealities of memristors. In this paper, we first conduct a comprehensive investigation into the impact of such typical non-idealities on LLM reasoning. Empirical results indicate that reasoning capability decreases significantly but varies for distinct benchmarks. Subsequently, we systematically appraise three training-free strategies, including thinking mode, in-context learning, and module redundancy. We thus summarize valuable guidelines, i.e., shallow layer redundancy is particularly effective for improving robustness, thinking mode performs better under low noise levels but degrades at higher noise, and in-context learning reduces output length with a slight performance trade-off. Our findings offer new insights into LLM reasoning under non-ideality and practical strategies to improve robustness.

연구 동기 및 목표

• 벤치마크(IFEval, GPQA-Diamond, MATH-500) 전반에서 메모리스터의 일반적 비이상성이 LLM 추론 정확도에 미치는 영향을 평가한다.
• 비이상성 하에서의 견고성을 위한 학습 없이 적용 가능한 완화 전략(생각 모드, 맥락 내 학습, 모듈 중복)을 체계적으로 평가한다.
• 메모리스터 기반 CIM 하드웨어에 LLM을 배치하기 위한 실용적 지침을 제공한다.

제안 방법

• LLM 추론 중 가중치 행렬에서의 블록 단위 가우시안 노이즈 및 스턱-앳(Stuck-at) 결함으로 메모리스터 비이상성을 시뮬레이션한다.
• 다양한 노이즈 수준(σ ∈ {0.005,0.01,0.015,0.02})에서 세 가지 벤치마크(IFEval, GPQA-Diamond, MATH-500)에 대한 추론을 평가한다.
• 학습 없이 적용 가능한 전략: 생각 모드, 맥락 내 학습(ICL), 모듈 중복(모듈/레이어 재복제)을 테스트한다.
• CIM 에너지 모델 및 Opencompass 프레임워크를 사용하여 하드웨어 시나리오 전반의 에너지/면적 영향을 분석한다.
• 스턱-앳 결함률(p) 및 어떤 모델 계층/모듈을 중복 복제할지에 대한 절제적 연구를 수행한다.

실험 결과

연구 질문

• RQ1 메모리스터 비이상성이 서로 다른 벤치마크에서 LLM 추론 성능에 어떤 영향을 미치는가?
• RQ2 학습 없이 적용 가능한 전략이 비이상성으로 인한 저하를 완화할 수 있는가? 어떤 조건에서 효과적인가?
• RQ3 노이즈 허용도, 에너지, 아키텍처 중복성에 대해 메모리스터 기반 CIM에서 LLM을 배치하기 위한 실용적 지침은 무엇인가?

주요 결과

• 메모리스터 노이즈가 증가함에 따라 추론 성능이 저하되며, 노이즈가 높을수록 더 큰 불안정성을 보인다.
• 수학적 추론(MATH-500)은 가중치 섭동에 특히 취약하여 노이즈가 높아질수록 성능 저하와 더 긴 출력이 나타난다.
• 약간의 노이즈는 때때로 일부 지표를 향상시킬 수 있는데, 예를 들어 σ=0.005에서 IFEval Pass@8이 올라가 정규화 효과가 있을 수 있다.
• 생각 모드는 낮은-중간 노이즈(σ ≤ 0.01)에서 강건하지만, 모드 붕괴와 길고 체계화되지 않은 출력으로 인해 높은 노이즈(σ > 0.015)에서 붕괴한다.
• 맥락 내 학습은 출력 길이를 줄이지만 모든 노이즈 수준에서 일반 벤치마크 대비 성능이 하락하고, 에너지 이점은 출력이 짧아지는 매우 높은 노이즈에서만 나타난다.
• 모듈 중복은 일반적으로 강건성을 향상시키며, 얕은 계층 중복(초기 계층)이 특히 효과적이고, 깊은 계층 중복은 에너지/면적 페널티를 초래하고 성능을 저하시킬 수 있다.
• 실용적인 얕은 중복 전략(레이어의 처음 1/4를 네 번 반복, “Shallow (4 ×)”)이 성능과 에너지 간의 균형을 우수하게 달성하며, 더 큰 LLM에서도 효과적이다(Qwen3 1.7B, Llama 3.2 1B).
• Qwen3 1.7B 및 Llama 3.2 1B의 경우, Shallow (4 ×)가 MATH-500 및 IFEval 성능의 상당 부분을 회복하면서 에너지를 대폭 줄여 준다(예: σ=0.02에서 Qwen3 1.7B의 에너지가 0.3J로 감소하고 7.2J의 baseline 대비 감소).