[논문 리뷰] Linear Representations of Sentiment in Large Language Models

Curt Tigges, Oskar John Hollinsworth외 2명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델에서 감성 정보가 활성화 공간 내 단일 방향에 대해 선형적으로 표현됨을 드러내며, 이는 감성 예측에 인과적으로 중요한 역할을 한다. 인과적 간섭과 회로 분석을 통해 저자들은 쉼표와 같은 중립 토큰에서 감성이 집약되는 '요약 모티프'를 특정하였으며, 이는 추론 시 정확도 손실의 36%를 설명한다.

ABSTRACT

Sentiment is a pervasive feature in natural language text, yet it is an open question how sentiment is represented within Large Language Models (LLMs). In this study, we reveal that across a range of models, sentiment is represented linearly: a single direction in activation space mostly captures the feature across a range of tasks with one extreme for positive and the other for negative. Through causal interventions, we isolate this direction and show it is causally relevant in both toy tasks and real world datasets such as Stanford Sentiment Treebank. Through this case study we model a thorough investigation of what a single direction means on a broad data distribution. We further uncover the mechanisms that involve this direction, highlighting the roles of a small subset of attention heads and neurons. Finally, we discover a phenomenon which we term the summarization motif: sentiment is not solely represented on emotionally charged words, but is additionally summarized at intermediate positions without inherent sentiment, such as punctuation and names. We show that in Stanford Sentiment Treebank zero-shot classification, 76% of above-chance classification accuracy is lost when ablating the sentiment direction, nearly half of which (36%) is due to ablating the summarized sentiment direction exclusively at comma positions.

연구 동기 및 목표

• 대규모 언어 모델(LLM) 내부에서 감성이 어떻게 표현되는지 조사하며, 특히 선형적으로 인코딩되는지 여부를 확인한다.
• 실제 작업과 합성 작업 모두에서 활성화 공간 내 단일 방향이 감성 예측에 인과적으로 영향을 미치는지 확인한다.
• 감성 표현 및 요약에 책임이 있는 신경 회로(특정 어텐션 헤드 및 뉴런)를 특정한다.
• 중간 단계의 비가중치 토큰(예: 쉼표, 이름 등)이 레이어 전반에 걸쳐 감성 정보를 요약하는 데 어떤 역할을 하는지 탐색한다.
• SST 및 OpenWebText를 포함한 다양한 모델과 데이터셋에서 감성 표현의 강건성과 일반화 능력을 평가한다.

제안 방법

• 감성 방향이 활성화 공간에서 영향을 미치는 것을 고립하고 테스트하기 위해 인과 매개변수 분석 프레임워크를 사용한다.
• 활성화 패치 및 방향성 제거를 적용하여 감성 방향이 모델 예측에 기여하는 정도를 측정한다.
• 토이 데이터셋(ToyMovieReview)의 활성화 임베딩에 대해 K-means 클러스터링을 통해 감성 방향을 학습하고, 실제 데이터(SST)에서 검증한다.
• Transformer-lens 라이브러리를 사용해 세부적인 회로 분석을 수행하여 감성 표현에 관여하는 주요 어텐션 헤드와 뉴런을 특정한다.
• 특정 토큰에서 감성 정보를 주입하거나 제거하는 방향성 패치를 구현하여 최종 예측에 미치는 영향을 테스트한다.
• 다양한 모델(GPT-2, Pythia)과 레이어 간 비교를 통해 감성 방향의 일관성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 모델과 작업에서 LLM의 활성화 공간 내 감성이 단일 선형 방향으로 표현되는가?
• RQ2 인터벤션 기법을 통해 감성 방향이 최종 감성 예측에 인과적으로 관련되어 있는가?
• RQ3 중간 단계의 비가중치 토큰(예: 쉼표, 마침표, 고유명사 등)이 감성 정보를 요약하는 핵심 역할을 하는가?
• RQ4 감성 표현을 인코딩하고 전파하는 데 가장 기여하는 특정 어텐션 헤드와 뉴런은 무엇인가?
• RQ5 감성 방향을 요약 토큰에서 제거했을 때 모델의 감성 분류 성능 중 얼마나 많은 비율이 감성 방향의 기여로 기인하는가?

주요 결과

• 단일 선형 방향이 다양한 맥락(영어 및 프랑스어 텍스트 포함)에서 감성을 높은 상관관계로 포괄하며 표현한다.
• 감성 방향의 인과적 제거로 인해 0-샷 SST 정확도가 우연의 경우보다 76% 감소하여 그 인과적 중요성을 입증한다.
• 쉼표 위치에서 감성 방향을 특별히 제거했을 때 전체 정확도 손실의 36%를 차지하며, 이는 '요약 모티프'를 드러낸다.
• 감성 방향은 GPT-2, Pythia 등 여러 모델과 레이어에서 강건하여 일반화 가능한 내부 표현임을 시사한다.
• 감성 표현을 인코딩하고 전파하는 데 주로 소수의 어텐션 헤드와 뉴런이 기여하며, 이는 작고 해석 가능한 회로를 형성한다.
• 감성 방향은 단순히 가중치 단어를 대체하는 것이 아니라, 문장 부호나 이름과 같은 중립 토큰을 통해 정보가 집약되는 고차원 추상화를 포착한다.