[논문 리뷰] FaithSteer-BENCH: A Deployment-Aligned Stress-Testing Benchmark for Inference-Time Steering

Zikang Ding, Qiying Hu외 5명|arXiv (Cornell University)|2026. 03. 18.

Topic Modeling인용 수 0

한 줄 요약

FaithSteer-BENCH는 제어성, 유용성 보존, 강인성에 걸친 고정 작동 지점에서 추론 시 스티어링을 평가하기 위한 배치-정렬 벤치마크를 도입하여 신뢰성의 격차와 메커니즘 수준의 통찰을 밝힌다.

ABSTRACT

Inference-time steering is widely regarded as a lightweight and parameter-free mechanism for controlling large language model (LLM) behavior, and prior work has often suggested that simple activation-level interventions can reliably induce targeted behavioral changes. However, such conclusions are typically drawn under relatively relaxed evaluation settings that overlook deployment constraints, capability trade-offs, and real-world robustness. We therefore introduce extbf{FaithSteer-BENCH}, a stress-testing benchmark that evaluates steering methods at a fixed deployment-style operating point through three gate-wise criteria: controllability, utility preservation, and robustness. Across multiple models and representative steering approaches, we uncover several systematic failure modes that are largely obscured under standard evaluation, including illusory controllability, measurable cognitive tax on unrelated capabilities, and substantial brittleness under mild instruction-level perturbations, role prompts, encoding transformations, and data scarcity. Gate-wise benchmark results show that existing methods do not necessarily provide reliable controllability in deployment-oriented practical settings. In addition, mechanism-level diagnostics indicate that many steering methods induce prompt-conditional alignment rather than stable latent directional shifts, further explaining their fragility under stress. FaithSteer-BENCH therefore provides a unified benchmark and a clearer analytical lens for future method design, reliability evaluation, and deployment-oriented research in steering.

연구 동기 및 목표

• 정상적인 제어 가능성만으로는 충분하지 않은 추론 시 스티어링에 대한 배포-지향 평가를 촉진한다.
• 현실 세계의 제약에서 스티어링 신뢰성을 평가하기 위한 표준화된 고정점 프로토콜을 정의한다.
• 공유된 작동 지점에서 제어 가능성, 유용성 보존, 그리고 스트레스 하의 강인성을 공동으로 평가한다.

제안 방법

• 고정된 스티어링 계층과 벡터를 갖는 공통의 가법적 개입 인터페이스를 제안하고, 보정된 지점에서 하나의 스칼라 승수 alpha의 함수로 성능을 조사한다.
• 배포 지향적 판단을 제공하기 위해 세 가지 게이트 평가 프로토콜(제어 가능성, 유용성 보존, 강인성)을 도입한다.
• 스트레스에 재조정하지 않고도 다수의 데이터셋에서 합산된 깨끗한 제어 가능성을 최대화하도록 held-out 데이터를 사용하여 alpha*를 보정한다.
• 구조화된 교란 하에서 강인성을 테스트하기 위한 스트레스 분류체계(Red-Teaming, OOD, Hybrid)를 정의한다.
• 벤치마크 평점을 좌우하지 않으면서 성공과 실패를 해석하기 위한 메커니즘 수준 진단 도구(정렬, FOS, LDC)를 제공한다.

Figure 1: Steering evaluation landscape and the deployment-reliability gap addressed by FaithSteer-BENCH.

실험 결과

연구 질문

• RQ1 다양한 모델과 스티어링 방법에 걸쳐 단일 고정 배치 포인트에서 평가될 때 추론 시 스티어링의 신뢰도는 얼마나 높은가?
• RQ2 깨끗한 데이터에서 제어 가능성을 향상시키는 스티어링 방법이 배포-정렬된 스트레스 하에서도 성능을 유지하고 사용자 능력를 보존하는가?
• RQ3 현실적인 프롬프트 및 입력 교란 하에서 추론 시 스티어링의 일반적인 실패 모드는 무엇인가?
• RQ4 정렬 신호가 스트레스 하에서 안정적인 잠재 제어 방향에 어느 정도 대응하는가?

주요 결과

• 깨끗한 제어 가능성은 방법과 모델에 따라 극적으로 달라지며; 일부 방법은 특정 모델-태스크 쌍에서만 상당한 이득을 보이고 다른 방법은 저조하거나 불안정하다.
• 스티어링은 종종 능력 비용을 수반하며, 일부 방법은 유용성을 보존하는 반면 다른 방법들은 외부 벤치마크(RACE, MMLU, OBQA, GLUE)를 저하시킨다.
• 스트레스 하의 강인성은 많은 방법에서 미흡하며; Base64 기반 교란은 일관되게 성능을 저하시고 여러 역할/템플릿 교란은 모델별 가변성을 드러낸다.
• 메커니즘 수준의 진단은 방향 정렬이 강인성을 보장하지 않는다는 것을 보여주며, 일관된 잠재적 변화가 스트레스 하에서 행동적으로 실패할 수 있다.
• FaithSteer-BENCH는 배포에 신뢰할 수 있는 스티어링이 드물고 깨끗한 데이터에서의 이득이 배포 신뢰성을 보장하지 않는다는 점을 강조한다.
• 벤치마크는 제어 가능성, 유용성, 스트레스 보유를 게이트 기반 프로파일로 결합하여 통합된 프레임워크와 운영적 평점을 제공한다.

Figure 2: Overview of FaithSteer-BENCH . Steering methods are evaluated through three stages: clean controllability, capability preservation, and robustness under stress. The results are then converted into gate-wise deployment verdicts.