[논문 리뷰] Attention Visualizer Package: Revealing Word Importance for Deeper Insight into Encoder-Only Transformer Models

Ala Alam Falaki, Robin Gras|arXiv (Cornell University)|2023. 08. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

Attention Visualizer 패키지는 인코더 전용 트랜스포머 모델을 해석하기 위한 새로운 방법을 도입하여 최종 임베딩 내 단어 수준의 중요도를 시각화함으로써 토큰 수준의 어텐션 점수를 넘어서는 해석 가능성을 제공한다. 이는 개별 단어가 표현에 기여하는 방식을 정량화함으로써 모델 행동에 대한 깊이 있는 통찰을 제공하며, 자연어 처리 응용 분야에서 모델의 해석 가능성과 설명 가능성 향상에 기여한다.

ABSTRACT

This report introduces the Attention Visualizer package, which is crafted to visually illustrate the significance of individual words in encoder-only transformer-based models. In contrast to other methods that center on tokens and self-attention scores, our approach will examine the words and their impact on the final embedding representation. Libraries like this play a crucial role in enhancing the interpretability and explainability of neural networks. They offer the opportunity to illuminate their internal mechanisms, providing a better understanding of how they operate and can be enhanced. You can access the code and review examples on the following GitHub repository: https://github.com/AlaFalaki/AttentionVisualizer.

연구 동기 및 목표

• 최종 임베딩 내 단어 수준 기여도를 분석함으로써 인코더 전용 트랜스포머 모델의 해석 가능성을 향상시키기 위해.
• 기존 방법이 어텐션 점수와 토큰 수준 분석에 집중하는 데 반해 단어 수준의 영향력에는 초점을 맞추지 않는 한계를 해결하기 위해.
• 연구자와 실무자에게 특정 단어가 모델 표현을 어떻게 형성하는지 드러내는 도구를 제공하기 위해.
• 어텐션 메커니즘과 트랜스포머 기반 자연어 처리 모델 내 실제 단어 수준의 영향력 사이의 격차를 메우기 위해.
• 투명한 단어 중요도 시각화를 통해 모델 디버깅, 개선 및 신뢰 구축을 지원하기 위해.

제안 방법

• 이 방법은 인코더 전용 트랜스포머에서 최종 임베딩 표현에 각 단어가 기여하는 방식을 분석함으로써 단어 중요도를 계산한다.
• 변화하는 개별 단어가 최종 출력 임베딩에 미치는 영향을 정량화하기 위해 기울기 기반 또는 활성도 기반 할당 기법을 활용한다.
• 이 접근법은 서브워드 또는 토큰 수준이 아니라 단어 수준에서 작동하므로 더 인간 친화적인 통찰을 가능하게 한다.
• 패키지는 허깅페이스 스타일 모델과 통합되며, 단어 수준의 영향력에 대한 상호작용 가능한 분석을 위한 시각화 도구를 제공한다.
• 어텐션 점수와 표현 기울기 기반으로 중요도 점수를 계산하고, 이를 사용자 友好的 인터페이스에서 시각화한다.
• 이 프레임워크는 국소적 해석 가능성(각 시퀀스 분석)과 글로벌 통찰력(데이터셋 전체에 걸친 단어 중요도 집계)을 모두 지원한다.

실험 결과

연구 질문

• RQ1 인코더 전용 트랜스포머 모델에서 단어 수준 중요도는 어떻게 효과적으로 측정하고 시각화할 수 있는가?
• RQ2 개별 단어가 트랜스포머 기반 모델의 최종 표현에 얼마나 기여하는가?
• RQ3 단어 수준 할당은 토큰 수준 어텐션 점수를 넘어서 어텐션 메커니즘의 해석 가능성을 향상시킬 수 있는가?
• RQ4 명확성과 사용성 측면에서 기존의 해석 가능성 도구와 비교해 본다면, 제안된 방법은 어떠한가?
• RQ5 어텐션 헤드만을 고려하는 것과 달리, 단어 수준 기여도를 분석함으로써 모델 행동에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• Attention Visualizer 패키지는 최종 임베딩 내 단어 수준 중요도를 성공적으로 시각화하여 토큰 수준 어텐션 시각화보다 더 명확한 해석 가능성을 제공한다.
• 이 방법은 어조 점수가 낮을지라도 일부 단어가 최종 표현에 비례적으로 크게 기여하는 것으로 드러났다.
• 이 도구를 통해 사용자는 모델 출력에 크게 영향을 주는 시퀀스 내 핵심 단어를 식별할 수 있으며, 이는 모델 디버깅에 기여한다.
• 패키지는 서브워드 단위가 아니라 의미 단위인 단어에 초점을 맞춤으로써 더 나은 인간 이해를 가능하게 하여 해석 가능성 향상을 보여준다.
• 이 프레임워크는 상호작용 가능한 분석을 지원하여 연구자들이 입력과 모델 레이어에 따라 단어 중요도가 어떻게 변하는지 탐색할 수 있도록 한다.
• 이 방법은 특정 단어가 예측에 비합리적이거나 지나치게 영향을 미치는지 식별함으로써 모델 개선에 실질적인 통찰을 제공한다.