[논문 리뷰] Linearity of Relation Decoding in Transformer Language Models

Evan Hernandez, Arnab Sen Sharma외 6명|arXiv (Cornell University)|2023. 08. 17.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 트랜스포머 언어 모델이 관계 지식을 어떻게 인코딩하고 디코딩하는지 조사하며, 테스트된 관계 중 48%—예를 들어 '악기를 연주한다' 또는 '색상을 가진다'—에 대해 이러한 지식이 주어진 표현에 선형 변환(LRE)을 적용하여 잘 근사됨을 발견한다. 이 방법은 단일 프롬프트에서 모델의 자코비안을 직접 이용해 선형 관계를 추정함으로써, 설명 가능한 지식 편집과 '속성 렌즈'를 통한 가시화를 가능하게 하며, 잘못된 출력이 생성된 경우에도 숨겨진 사실 지식을 드러낸다.

ABSTRACT

Much of the knowledge encoded in transformer language models (LMs) may be expressed in terms of relations: relations between words and their synonyms, entities and their attributes, etc. We show that, for a subset of relations, this computation is well-approximated by a single linear transformation on the subject representation. Linear relation representations may be obtained by constructing a first-order approximation to the LM from a single prompt, and they exist for a variety of factual, commonsense, and linguistic relations. However, we also identify many cases in which LM predictions capture relational knowledge accurately, but this knowledge is not linearly encoded in their representations. Our results thus reveal a simple, interpretable, but heterogeneously deployed knowledge representation strategy in transformer LMs.

연구 동기 및 목표

• 트랜스포머 언어 모델의 관계 지식이 주어진 표현에 대한 선형 변환으로 인코딩되는지 조사하기.
• 단일 프롬프트를 사용하여 다양한 주제에 대해 객체 토큰을 정확하게 예측할 수 있는 선형 관계 임베딩(LRE)을 신뢰성 있게 추정할 수 있는지 확인하기.
• LRE가 모델 행동 편집 및 숨겨진 사실 지식 가시화에 얼마나 활용될 수 있는지 평가하기.
• LRE가 무작위 기준과 비교했을 때 다양한 관계 유형에서 얼마나 견고한지 평가하기.
• 특정 관계 사실을 검색하는 데 사용되는 '속성 렌즈' 시각화 도구를 개발하고 검증하기.

제안 방법

• 저자들은 단일 프롬프트에서 주어진 표현에 대한 모델 출력의 자코비안을 계산하여 선형 관계 임베딩(LRE)을 추정함으로써, 모델의 일阶 행동을 근사한다.
• 각 관계에 대해, 소수의 주어-객체 쌍을 사용하여 주어진 표현을 객체 표현으로 매핑하는 선형 프로브(W_r, b_r)를 학습한다.
• LRE의 유효성을 검증하기 위해, 예측된 객체 분포가 모델의 실제 다음 토큰 분포와 얼마나 잘 일치하는지 측정한다.
• 각 레이어에서의 은닉 표현을 추정된 LRE를 통해 투영하는 '속성 렌즈' 시각화 도구를 도입하여, 각 레이어에서 특정 관계에 대해 객체 토큰 분포를 보여준다.
• GPT와 LLaMA 모델에서 47개의 관계에 대해 LRE를 평가하며, 사실적, 일반 지식, 편향된 관계를 포함한 다양한 유형의 관계를 다루며, 단일 토큰 및 다중 토큰 완성 방식을 사용한다.
• LRE를 사용해 주어진 표현을 편집하고 모델 출력의 변화를 측정함으로써 원인 효과를 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 언어 모델의 관계 지식이 주어진 표현의 선형 변환으로 얼마나 잘 인코딩되어 있는가?
• RQ2 단일 프롬프트를 사용해 다양한 주제에 대해 관계의 객체 예측을 잘 포괄하는 선형 관계 임베딩(LRE)을 신뢰성 있게 추정할 수 있는가?
• RQ3 LRE가 다양한 관계에서 정확한 객체 토큰을 예측하는 데 있어 무작위 기준과 비교해 어떻게 성능을 내는가?
• RQ4 LRE가 실패하는 경우, 모델가 관계 지식을 인코딩하고 검색하는 데 어떤 다른 메커니즘을 사용할 수 있는가?
• RQ5 모델가 잘못된 출력을 생성하더라도 LRE를 사용해 숨겨진 사실 지식을 가시화하고 탐지할 수 있는가?

주요 결과

• 테스트된 47개의 관계 중 48%에 대해 선형 관계 임베딩(LRE)이 모델의 관계 디코딩 과정을 강력하고 충실하게 근사한다.
• 단일 프롬프트에서 추정된 LRE는 다양한 주제에 걸쳐 객체 토큰을 정확하게 예측할 수 있으며, 이는 무작위 기준보다 유의미하게 뛰어난 성능을 보인다.
• 속성 렌즈 시각화 도구는 모델가 잘못된 출력을 생성하더라도, 예를 들어 '런던' 대신 '노르웨이의 수도'가 올바르게 드러나는 등 숨겨진 사실 지식을 성공적으로 드러낸다.
• LRE를 사용해 주어진 표현을 편집함으로써 모델 출력을 인과적으로 변화시킬 수 있으며, 이는 LRE의 해석 가능성과 모델 제어에 있어 실용성을 입증한다.
• 이 연구는 이질적인 지식 표현 전략을 밝혀내었으며, 일부 관계는 선형적으로 인코딩되지만 다른 관계는 더 복잡한 비선형 메커니즘에 의존함을 시사한다. 이는 선형성의 보편성에 대한 한계를 나타낸다.
• 이 방법은 무작위 기준이 쉬운 관계는 LRE 근사에 더 적합하고, 무작위 기준이 어려운 관계는 LRE 근사에 덜 적합함을 드러낸다.