[논문 리뷰] Visualizing Attention in Transformer-Based Language Representation Models

Jesse Vig|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling인용 수 33

한 줄 요약

이 논문은 변환기 모델에서 다중 헤드 자기 주의를 시각화하는 오픈 소스 도구를 제시하며, 세 가지 뷰(주의-헤드, 모델, 뉴런)를 GPT-2와 BERT에서 시연하고, 편향(Bias) 탐지 및 패턴 분석 활용 사례를 제시한다.

ABSTRACT

We present an open-source tool for visualizing multi-head self-attention in Transformer-based language representation models. The tool extends earlier work by visualizing attention at three levels of granularity: the attention-head level, the model level, and the neuron level. We describe how each of these views can help to interpret the model, and we demonstrate the tool on the BERT model and the OpenAI GPT-2 model. We also present three use cases for analyzing GPT-2: detecting model bias, identifying recurring patterns, and linking neurons to model behavior.

연구 동기 및 목표

• 변환기 자기 주의에 대한 오픈 소스 시각화 도구를 도입한다.
• 이전 시각화 연구를 인코더-전용 및 디코더-전용 모델(BERT 및 GPT-2)로 확장한다.
• 주의와 모델 동작을 해석하기 위한 세 가지 뷰(주의-헤드, 모델, 뉴런)을 제공한다.
• GPT-2에서 편향 탐지, 반복 패턴, 뉴런과 행동 연계와 같은 활용 사례를 시연한다.

제안 방법

• Tensor2Tensor 스타일의 주의 시각화를 GPT-2 및 BERT 아키텍처에 적용한다.
• 세 가지 뷰를 구현한다: 주의-헤드 뷰, 모델 뷰, 뉴런 뷰.
• 주의를 토큰-토큰 연결로 시각화하고 색상 코드가 있는 헤드와 가중 선을 사용한다.
• 쿼리와 키의 뉴런 단위 추적을 노출하여 주의가 계산되는 방식을 보인다 (q, k, q×k, q·k, Softmax).
• 레이어, 헤드 및 문장별로 대화식 필터링을 제공하여 패턴과 잠재적 편향을 드러낸다.

실험 결과

연구 질문

• RQ1 GPT-2와 BERT의 다중 헤드 자기 주의는 서로 다른 세분성에서 어떻게 효과적으로 시각화될 수 있는가?
• RQ2 트랜스포머 모델의 주의 시각화를 통해 어떤 패턴과 편향을 식별할 수 있는가?
• RQ3 개별 뉴런과 주의 동작 사이의 연관성을 뉴런 수준의 검사로 밝혀낼 수 있는가?
• RQ4 시각화가 반복적인 주의 패턴과 잠재적 null 또는 거리 기반 주의를 설명하는 데 도움이 되는가?

주요 결과

• 이 도구는 GPT-2 및 BERT에 대해 헤드, 모델, 뉴런 수준의 주의 패턴 시각화를 가능하게 한다.
• 주의 헤드는 BERT 및 GPT-2에서 어휘적 패턴, 코어퍼런스 유사 동작, 문장 쌍 간 상호작용을 보인다.
• 모델 뷰는 주로 첫 토큰에 초점을 맞춘 null 주의와 같은 반복 패턴을 보여준다.
• 뉴런 뷰는 특정 뉴런이 q, k 및 그 곱을 통해 주의에 어떻게 기여하는지 추적하여 행동을 변경하기 위한 잠재적 조작을 가능하게 한다.
• 활용 사례는 잠재적 편향 탐지, 반복되는 주의 패턴, 뉴런을 모델 동작에 연결하는 것을 보여준다.