[논문 리뷰] AttViz: Online exploration of self-attention for transparent neural language modeling

Blaž Škrlj, Nika Eržen외 4명|arXiv (Cornell University)|2020. 05. 12.

Topic Modeling인용 수 7

한 줄 요약

AttViz는 사전 훈련된 언어 모델의 자기주의 메커니즘을 시각화하기 위한 온라인, 상호작용형 툴킷으로, 연구자들이 실시간으로 토큰과 주의 헤드를 통해 주의 가중치를 탐색할 수 있도록 한다. 이는 주의 분포와 모델 출력 확률에 대한 직관적인 시각화를 제공하여 어떤 토큰이 예측에 영향을 미치는지 통찰을 제공한다—BERT 기반 모델을 사용한 뉴스 분류 작업에서 이를 입증하였다.

ABSTRACT

Neural language models are becoming the prevailing methodology for the tasks of query answering, text classification, disambiguation, completion and translation. Commonly comprised of hundreds of millions of parameters, these neural network models offer state-of-the-art performance at the cost of interpretability; humans are no longer capable of tracing and understanding how decisions are being made. The attention mechanism, introduced initially for the task of translation, has been successfully adopted for other language-related tasks. We propose AttViz, an online toolkit for exploration of self-attention---real values associated with individual text tokens. We show how existing deep learning pipelines can produce outputs suitable for AttViz, offering novel visualizations of the attention heads and their aggregations with minimal effort, online. We show on examples of news segments how the proposed system can be used to inspect and potentially better understand what a model has learned (or emphasized).

연구 동기 및 목표

• 높은 성능에도 불구하고 일반적으로 투명하지 않은 블랙박스로 간주되는 대규모 신경망 언어 모델의 해석 가능성 문제를 해결하기 위해.
• 연구자들과 실무자들이 주의 메커니즘이 모델 예측에 미치는 영향을 실시간으로 점검할 수 있도록 하기 위해.
• 개별 토큰과 주의 헤드를 통해 자기주의 패턴을 탐색할 수 있는 접근성 있고 온라인 인터페이스를 제공하기 위해.
• 주의 분포를 출력 확률 공간과 연결하여 모델 결정의 투명한 분석을 지원하기 위해.
• 혐오 발언 또는 뉴스 주제 분류와 같은 분류 작업에서 주목할 만한 토큰과 잠재적 편향을 탐지하는 데 기여하기 위해.

제안 방법

• AttViz는 사전 훈련된 트랜스포머 모델(예: BERT)에서 주의 가중치를 추출하고 이를 사용자 友好的한 상호작용 웹 인터페이스로 매핑한다.
• 시스템은 각 헤드의 주의 강도를 색상 강도로 나타내는 열매로 토큰 간 자기주의를 시각화한다.
• 사용자가 집합적 주의 패턴을 탐색할 수 있도록 주의 헤드를 동적으로 집계할 수 있다.
• 주의 시각화와 모델 출력 확률을 동기화하여 예측과 주의를 병렬로 점검할 수 있도록 한다.
• 로컬 컴퓨팅 또는 모델 미세조정 없이도 온라인 탐색을 지원한다.
• 기존 딥러닝 추론 파이프라인을 활용하여 주의 출력을 시각화하기 위해 노트북을 최소한도로 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 언어 모델의 자기주의 패턴은 어떻게 효과적으로 해석 가능하게 시각화할 수 있는가?
• RQ2 모델 예측에 가장 영향을 미치는 토큰은 무엇이며, 주의 헤드는 이러한 중요성을 어떻게 분배하는가?
• RQ3 주의 시각화는 모델 예측에서 비합리적인 상관관계나 편향을 탐지하는 데 도움이 될 수 있는가?
• RQ4 뉴스 세그먼트를 분류할 때 주의 헤드 간 주의 패턴은 어떻게 다를까?
• RQ5 입력 시퀀스의 첫 번째 토큰이 비정상적으로 많은 주의를 받는 정도는 어느 정도이며, 그 이유는 무엇인가?

주요 결과

• ‘trillion’, ‘uk’, ‘total’과 같은 토큰은 여러 주의 헤드를 통해 일관되게 높은 자기주의 값을 기록하여 분류 작업에 있어 관련성이 있음을 시사한다.
• 일부 주의 헤드만 특정 토큰에 대해 활성화되었으며, 이는 서로 다른 헤드가 입력의 서로 다른 측면—예를 들어 관계 패턴—에 집중하고 있음을 의미한다.
• 입력 시퀀스의 첫 번째 토큰이 자주 강조되었으며, 이는 다음 토큰 예측을 우선시하는 사전 훈련 목표 때문일 가능성이 높다.
• 시스템은 주의 패턴과 모델 출력 확률을 성공적으로 연결하여, 두 번째로 가능성 있는 클래스(예: 정치)가 의미론적으로 타당한 경우가 많다는 점을 드러냈다.
• AttViz는 재훈련이 필요 없이 주의 및 예측 공간의 실시간 상호작용 탐색을 가능하게 하여 해석 가능성의 수준을 향상시켰다.
• 이 툴킷은 뉴스 텍스트 분류 분석에 유용하게 기여하였으며, 핵심어 탐지 및 모델 행동의 맥락적 평가에 특히 효과적이었다.