[論文レビュー] Can We Trust LLMs on Memristors? Diving into Reasoning Ability under Non-Ideality

Taiqiang Wu, Yuxin Cheng+6 more|arXiv (Cornell University)|Mar 14, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

この論文は、アナログ計算内蔵時のメモリスタ非理想性がLLMの推論に与える影響を分析し、トレーニングなしでの緩和戦略を評価し、浅い層の冗長性とモード特異的アプローチを推奨します。

ABSTRACT

Memristor-based analog compute-in-memory (CIM) architectures provide a promising substrate for the efficient deployment of Large Language Models (LLMs), owing to superior energy efficiency and computational density. However, these architectures suffer from precision issues caused by intrinsic non-idealities of memristors. In this paper, we first conduct a comprehensive investigation into the impact of such typical non-idealities on LLM reasoning. Empirical results indicate that reasoning capability decreases significantly but varies for distinct benchmarks. Subsequently, we systematically appraise three training-free strategies, including thinking mode, in-context learning, and module redundancy. We thus summarize valuable guidelines, i.e., shallow layer redundancy is particularly effective for improving robustness, thinking mode performs better under low noise levels but degrades at higher noise, and in-context learning reduces output length with a slight performance trade-off. Our findings offer new insights into LLM reasoning under non-ideality and practical strategies to improve robustness.

研究の動機と目的

• 典型的なメモリスタの非理想性がLLM推論精度に与える影響を、ベンチマーク（IFEval、GPQA-Diamond、MATH-500）で評価する。
• 非理想性下でのロバスト性のためのトレーニングなしの緩和戦略（思考モード、インコンテキスト学習、モジュール冗長性）の体系的評価を行う。
• メモリスタベースCIMハードウェア上でのLLM展開に関する実用的ガイドラインを提供する。

提案手法

• LLM推論中の重み行列に対するブロック単位のガウス雑音とスタックトゥファルト・ Faultsとしてメモリスタ非理想性をシミュレートする。
• ノイズレベルの異なる条件下で（σ ∈ {0.005,0.01,0.015,0.02}）三つのベンチマーク（IFEval、GPQA-Diamond、MATH-500）で推論を評価する。
• 思考モード、インコンテキスト学習（ICL）、モジュール冗長性（モジュール/層の繰り返し）といったトレーニングなし戦略を検証する。
• CIMエネルギー模型とOpencompassフレームワークを用いて、ハードウェアシナリオ別のエネルギー/面積影響を分析する。
• スタックトゥファウトの割合（p）と冗長化するモデルの層/モジュールを対象としたアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 メモリスタ非理想性は、異なるベンチマークでLLM推論性能にどのような影響を与えるか？
• RQ2 トレーニングなしの戦略は非理想性による劣化を緩和できるか、どの条件下で有効か？
• RQ3 ノイズ耐性、エネルギー、アーキテクチャ的冗長性の観点から、メモリスタベースCIMでのLLM展開に関する実践的ガイドラインは何か？

主な発見

• メモリスタノイズが増えるにつれて推論性能は低下し、ノイズレベルが高いほど不安定性が大きくなる。
• 数理推論（MATH-500）は重量の摂動に対して特に影響を受け、ノイズが高いと性能が著しく低下し出力も長くなる。
• ごく小さなノイズでも一部の指標で改善が見られる場合があり、非常に低ノイズで正則化効果が生じ得る可能性を示唆する（例：σ=0.005でIFEval Pass@8）。
• 思考モードは低〜中ノイズ（σ ≤ 0.01）で堅牢だが、高ノイズ（σ > 0.015）でモード崩壊と長く構造化されていない出力により崩壊する。
• インコンテキスト学習は出力長を抑えるが、ノイズレベル全体でバニラベースラインを一貫して下回り、エネルギー利得は出力短縮による場合を除けば限定的。
• モジュール冗長性は一般的に堅牢性を向上させる；浅い層の冗長性は特に効果的である一方、深い層の冗長性はエネルギー/面積ペナルティを招き、性能を低下させる可能性がある。
• 実用的な浅い冗長性戦略（最初の1/4層を四回繰り返す、Shallow (4 ×)）は、パフォーマンスとエネルギーのバランスを好ましく保ち、大規模LLM（Qwen3 1.7B、Llama 3.2 1B）でも効果的である。
• Qwen3 1.7BおよびLlama 3.2 1Bにおいて、Shallow (4 ×) はMATH-500およびIFEvalの性能を大幅に回復させつつ、エネルギーを大幅に削減する（例：σ=0.02時、Qwen3 1.7Bのエネルギーは0.3Jに低下、基準は7.2J）。