[논문 리뷰] Analyzing Transformers in Embedding Space

Guy Dar, Mor Geva외 2명|arXiv (Cornell University)|2022. 09. 06.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 훈련된 트랜스포머의 모든 파라미터를 임bedding 공간—어휘 항목의 공간—으로 사영하여 입력에 의존하지 않고도 해석할 수 있는 제로패스, 입력 독립적 프레임워크를 제안한다. 임베딩 행렬과 그 우측역행렬을 활용하여 저자들은 어텐션 및 피드포워드 가중치를 어휘 항목 간의 상호작용으로 재해석함으로써, 미세조정 없이도 모델 정렬과 제로샷 파라미터 전이를 가능하게 하였다. 이는 GPT-2와 BERT에서 강력한 실험적 검증을 통과하였다.

ABSTRACT

Understanding Transformer-based models has attracted significant attention, as they lie at the heart of recent technological advances across machine learning. While most interpretability methods rely on running models over inputs, recent work has shown that a zero-pass approach, where parameters are interpreted directly without a forward/backward pass is feasible for some Transformer parameters, and for two-layer attention networks. In this work, we present a theoretical analysis where all parameters of a trained Transformer are interpreted by projecting them into the embedding space, that is, the space of vocabulary items they operate on. We derive a simple theoretical framework to support our arguments and provide ample evidence for its validity. First, an empirical analysis showing that parameters of both pretrained and fine-tuned models can be interpreted in embedding space. Second, we present two applications of our framework: (a) aligning the parameters of different models that share a vocabulary, and (b) constructing a classifier without training by ``translating'' the parameters of a fine-tuned classifier to parameters of a different model that was only pretrained. Overall, our findings open the door to interpretation methods that, at least in part, abstract away from model specifics and operate in the embedding space only.

연구 동기 및 목표

• 정방향 또는 역방향 전파 없이도 입력에 의존하지 않는 훈련된 트랜스포머 파라미터를 해석하는 방법을 개발하는 것.
• 이전의 특정 구성 요소(예: FFN 값, 어텐션 가중치)를 해석하는 작업을 통합하고 확장하여, 임베딩 공간에서 작동하는 단일 프레임워크로 만드는 것.
• 같은 토크나이저를 공유하는 모델 간의 파라미터 비교 및 전이를 가능하게 하기 위해, 임베딩 공간에서 파라미터를 정렬하는 것.
• GPT-2와 BERT에서 프레임워크를 실험적으로 검증하여, 사영된 파라미터의 해석 가능성과 전이 가능성의 타당성을 입증하는 것.
• 모델의 행동이 임베딩 공간 내 어휘 수준의 상호작용를 통해 추상화되고 이해될 수 있음을 보여주는 것.

제안 방법

• 임베딩 행렬과 그 우측역행렬을 사용하여 트랜스포머의 모든 파라미터(키, 값, 어텐션 가중치)를 임베딩 공간으로 사영함으로써, 어휘 용어로의 해석을 가능하게 하는 것.
• 모델 내 내적 곱을 어휘 항목 쌍 간의 상호작용으로 재구성함으로써, 어텐션 및 피드포워드 연산의 직관적 해석을 가능하게 하는 것.
• 다른 모델 간의 파라미터 비교 및 정렬을 위해, 동일한 토크나이저로 훈련된 모델들 간의 공유 선형 공간으로서의 임베딩 공간을 활용하는 것.
• 미세조정된 분류기 파라미터를 대상 모델의 임베딩 행렬의 역행렬과 곱하여, 재훈련 없이도 전이가 가능한 제로샷 파라미터 번역을 수행하는 것.
• 감성 분석에 대해 미세조정된 GPT-2 파라미터의 변화를 분석하기 위해 프레임워크를 적용하여, 변화가 '더 나쁜', '무능한', '지루한'과 같은 단어 수준의 감성 신호로 해석되도록 하는 것.
• GPT-2 미디엄 및 BERT 모델에서 접근 방식을 실험적으로 검증하여, 사영된 파라미터가 의미 있는, 해석 가능한 어휘 수준의 패턴을 도출함을 보여주는 것.

실험 결과

연구 질문

• RQ1 FFN 값이나 어텐션 가중치 외에도, 모든 훈련된 트랜스포머 파라미터가 임베딩 공간에서 의미 있게 해석될 수 있는가?
• RQ2 미세조정 이후 파라미터 변화가 얼마나 어휘 수준의 활성화 패턴 변화로 해석될 수 있는가?
• RQ3 입력 데이터나 정방향 전파에 의존하지 않고도, 동일한 토크나이저를 공유하는 모델들을 임베딩 공간에서 정렬할 수 있는가?
• RQ4 임베딩 공간 파라미터 번역을 통해, 미세조정된 분류기의 동작을 재훈련 없이도 사전 훈련된 모델으로 전이할 수 있는가?
• RQ5 임베딩 공간에서 파라미터를 해석할 경우, 다양한 모델과 작업 간에 의미적으로 의미 있고 일관된 해석이 도출되는가?

주요 결과

• 프레임워크는 키, 값, 어텐션 가중치를 포함한 모든 트랜스포머 파라미터를 임베딩 공간에서 성공적으로 해석하여 의미 있는 어휘 수준의 상호작용를 드러냈다.
• 감성 분석에 대해 미세조정된 후 GPT-2 파라미터의 변화를 임베딩 공간으로 사영하면, '더 나쁜', '무능한', '지루한'과 같은 감성 특성과 관련된 단어들과 대응되는 것으로 나타났다.
• 다른 랜덤 시드에서 시작해 미리 훈련된 두 BERT 모델이 임베딩 공간 프레임워크를 통해 계층별로 정렬되었으며, 이는 모델 간 비교 가능성의 가능성을 입증하였다.
• 임베딩 공간 번역을 통해, 미세조정된 분류기의 파라미터를 재훈련 없이도 사전 훈련된 모델로 제로샷 전이하는 것이 가능하며, 이는 功能적 전이를 달성할 수 있음을 보여주었다.
• LM 헤드의 비선형성으로 인한 이론적 제약가 있음에도 불구하고, BERT에서 실질적으로 높은 성능을 보이며 아키텍처의 다양성에 대해 뛰어난 내구성을 보였다.
• 임베딩 공간은 모델 특화된 세부 정보를 추상화함으로써, 다양한 모델 간 정보 비교 및 전이를 위한 유니버설 선형 공간으로서의 기능을 수행한다.