[논문 리뷰] SelfIE: Self-Interpretation of Large Language Model Embeddings

Haozhe Chen, Carl Vondrick외 1명|arXiv (Cornell University)|2024. 03. 16.

Topic Modeling인용 수 4

한 줄 요약

SelfIE는 추가 학습 없이도 대규모 언어 모델이 자신의 내부 표현을 자연어로 자가 해석할 수 있도록 유도함으로써, 각각의 레이어에 대한 기울기 업데이트만으로도 제로샷, 충실도 높은 복잡한 오픈월드 개념의 해석을 가능하게 한다. 이는 감독 제어(윤리적 방향 조정을 95% 효과적으로 무효화)와 강화 제어(프롬프트 주입 성공률 84.66% 감소)를 통해 제어를 가능하게 하며, 전체적으로는 단일 레이어의 기울기 업데이트만을 사용한다.

ABSTRACT

How do large language models (LLMs) obtain their answers? The ability to explain and control an LLM's reasoning process is key for reliability, transparency, and future model developments. We propose SelfIE (Self-Interpretation of Embeddings), a framework that enables LLMs to interpret their own embeddings in natural language by leveraging their ability to respond to inquiries about a given passage. Capable of interpreting open-world concepts in the hidden embeddings, SelfIE reveals LLM internal reasoning in cases such as making ethical decisions, internalizing prompt injection, and recalling harmful knowledge. SelfIE's text descriptions on hidden embeddings also open up new avenues to control LLM reasoning. We propose Supervised Control, which allows editing open-ended concepts while only requiring gradient computation of individual layer. We extend RLHF to hidden embeddings and propose Reinforcement Control that erases harmful knowledge in LLM without supervision targets.

연구 동기 및 목표

• 추가 학습 없이 대규모 언어 모델(LLM)이 자신의 내부 은닉 표현을 자연어로 해석할 수 있도록 하는 것.
• 윤리적 결정이나 프롬프트 주입 반응과 같은 복잡한 추론 과정에 대해 충실도 높은 오픈월드 설명을 제공하는 것.
• 특정 은닉 레이어 표현을 편집함으로써 경량의 기울기 기반 제어를 통해 LLM 행동을 조정하는 것.
• 감독 데이터나 복잡한 프로브에 대한 의존도를 줄이기 위해 LLM 자체의 디코딩 능력을 활용하는 것.
• 자기 해석이 해로운 지식 편집과 윤리적 방향 조정을 효과적으로 가능하게 하되 성능 저하 없이 유지할 수 있음을 보여주는 것.

제안 방법

• SelfIE는 관심 있는 은닉 표현을 프롬프트 내의 자리표시 토큰으로 삽입한 후, 전방 전파를 통해 LLM이 해당 표현을 자연어로 설명하도록 유도한다.
• 이 방법은 LLM이 프롬프트를 받았을 때 내용을 요약하거나 반복하는 능력을 활용하여 내부 표현을 해석하는 데 재사용한다.
• 감독 제어는 단일 레이어에 대한 기울기 업데이트를 통해 SelfIE가 생성한 설명을 목표로 삼아 모델의 해석이 원하는 행동과 일치하도록 유도한다.
• 강화 제어는 LLM 자체를 보상 모델로 활용하여, 설명에 해로운 내용이 포함되어 있는지 여부에 따라 피드백을 제공함으로써 비감독 편집을 가능하게 한다.
• 제어는 개별 레이어에 대한 기울기 하강법을 통해 적용되며, 전체 미세조정이나 데이터 수집의 필요성을 최소화한다.
• 해석 품질은 TextWorld에서의 월드 상태 추적 및 프롬프트 주입 저항성과 같은 후행 작업을 통해 평가된다.

Figure 1: SelfIE interpretation of latent embeddings in Large Language Models. SelfIE produces open-world text explanations for the internal states in LLM without any training.

실험 결과

연구 질문

• RQ1 LLM은 추가 학습 없이도 자신의 내부 은닉 표현을 자연어로 자가 해석할 수 있는가?
• RQ2 자기 해석은 윤리적 결정이나 프롬프트 주입 반응과 같은 복잡한 추론 과정을 충실도 있게 드러낼 수 있는가?
• RQ3 자기 해석을 통해 기울기 기반 편집을 통한 경량의 LLM 행동 제어가 효과적으로 가능할 수 있는가?
• RQ4 강화 제어를 통해 감독이나 레이블이 없는 상태에서 해로운 지식을 제거할 수 있는가?
• RQ5 자기 해석 기반 제어는 특정 행동을 수정하면서도 모델의 능력을 유지하는가?

주요 결과

• SelfIE는 TextWorld에서 월드 상태 추적 작업에서 100샷 감독 프로브와 유사한 성능을 달성하여 제로샷 충실도를 입증했다.
• 감독 제어는 SelfIE 해석 기반 레이어 표현 편집을 통해 윤리적 방향 조정을 95% 효과적으로 무효화했다.
• 강화 제어는 프롬프트 주입 공격 성공률을 89.06%에서 4.4%로 낮혀 84.66%의 편집 효과를 달성했다.
• 편집된 모델은 Counterfact 벤치마크에서 사실 지식의 95.85%를 유지하여 부작용이 최소화되었음을 시사했다.
• 작은 LLM(7B 및 13B)은 지시 이행 능력 부족으로 인해 낮은 수준의 해석을 생성했지만, 지시 이행이 보장된 경우 70B 모델과 정확도가 유사해졌다.
• 특정 해로운 프롬프트(예: 모로토브 코ctail 제작)에 대한 편집이 388개의 관련 없는 다른 해로운 쿼리에 대한 응답까지도 제거함으로써 편집의 광범위한 일반화가 가능함을 보여주었다.

Figure 2: Interpretation procedure for SelfIE . By replacing placeholder token embedding in the interpretation prompt with embedding being interpreted in the interpretation forward pass, we can generate text descriptions for the embedding.