[論文レビュー] RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution

Isaac Picov, Ritesh Goru|arXiv (Cornell University)|Feb 6, 2026

Topic Modeling被引用数 0

ひとこと要約

RoPE-LIME は RoPE 空間で RWMD を用い、オープン代替手段を介して固定された LLM 出力を属性付ける。説明のための Sparse-K サンプリングにより、効率的でスケーラブルな説明を提供。

ABSTRACT

Explaining closed-source Large Language Model (LLM) outputs is challenging because API access prevents gradient-based attribution, while perturbation methods are costly and noisy when they depend on regenerated text. We introduce extbf{Rotary Positional Embedding Linear Local Interpretable Model-agnostic Explanations (RoPE-LIME)}, an open-source extension of gSMILE that decouples reasoning from explanation: given a fixed output from a closed model, a smaller open-source surrogate computes token-level attributions from probability-based objectives (negative log-likelihood and divergence targets) under input perturbations. RoPE-LIME incorporates (i) a locality kernel based on Relaxed Word Mover's Distance computed in extbf{RoPE embedding space} for stable similarity under masking, and (ii) extbf{Sparse-$K$} sampling, an efficient perturbation strategy that improves interaction coverage under limited budgets. Experiments on HotpotQA (sentence features) and a hand-labeled MMLU subset (word features) show that RoPE-LIME produces more informative attributions than leave-one-out sampling and improves over gSMILE while substantially reducing closed-model API calls.

研究の動機と目的

• API 経由でアクセスされる閉源 LLM に対する解釈可能な説明を動機付ける。
• 小さなオープンソース代替手段を用いて、固定モデル出力を属性付けすることで推論と説明を切り離す。
• RoPE ベースの局所性と Sparse な摂動サンプリングにより属性付けの品質と効率を向上させる。

提案手法

• RoPE 埋め込み上で計算された Relaxed Word Mover’s Distance (RWMD) を採用して局所性を測定する。
• 特徴をトークン連結として表現し、RoPE 幾何を保持する極性 L2 距離を計算する。
• Sparse-K sampling を用いて O(log K) 摂動を達成し、予算を N ≈ c log K 摂動に抑える。
• 摂動入力に重み付き線形代替手段を適合させ、回帰係数からトークンレベルの属性を導出する。
• 確率ベースの損失（NLL および KL 発散）を用いて回帰ターゲットを計算し、テキスト重複ではなく推定を重視する。
• 閉鎖モデルへのクエリ（元の出力が1つ）を、代替手段による属性付け計算と分離する。

実験結果

リサーチクエスチョン

• RQ1 RoPE-LIME は、固定された API でアクセスされる LLM 出力に対して、従来の摂動法より情報量の多い属性付けを提供できるか。
• RQ2 RoPE 空間での RWMD は、マスキング下のテキスト摂動に対して安定した局所性指標を提供するか。
• RQ3 特徴量数が変動する情况下、Sparse-K サンプリングは属性付けの品質と効率の点でどう機能するか。
• RQ4 HotpotQA や MMLU のようなベンチマークで、オープンソースの代替手段ベースの説明は、open-および closed-model の両方で gSMILE と比較してどうなるのか。

主な発見

モデル	IoU (平均 ± 標準偏差)	F1 (平均 ± 標準偏差)	AUROC (平均 ± 標準偏差)
Closed-Source	0.248 ± 0.171	0.368 ± 0.216	0.431 ± 0.182
Open-Source	0.364 ± 0.184	0.508 ± 0.191	0.563 ± 0.159

• RoPE-LIME は、同程度の予算制約の下で手作業ラベリングされた MMLU のサブセットに対して、gSMILE より高い IoU、F1、AUROC を達成する。
• HotpotQA では、Sparse-K サンプリングは特徴数のバケットを跨いで強力な属性付け性能を示し、Leave-One-Out (LOO) 摂動を上回る。
• RoPE-LIME は、元の閉鎖モデルの出力を固定したまま、属性付けのために代替手段を用いることで、閉鎖モデル API 呼び出しを大幅に削減する。
• RoPE 上の RWMD は、モデルの帰納的バイアスと一致する安定な局所性概念を可能にし、属性付けの安定性を向上させる。
• Sparse-K サンプリングは対数スケーリングの摂動を提供し、計算コストを抑えつつ属性付けの品質を維持する。
• オープンソースの代替手段ベースの説明は、短いクエリ設定において閉鎖モデルの属性付けベースラインのいくつかに近づく、または上回ることができる。