[논문 리뷰] Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors

Zeyu Yun, Yubei Chen외 2명|arXiv (Cornell University)|2021. 03. 29.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 트랜스포머의 컨텍스트에 민감한 임베딩을 학습된 '트랜스포머 팩터'의 희박한 선형 조합으로 시각화하는 사전 학습 기반 접근법을 제안하며, 다의어 해소, 문장 수준의 패턴 형성, 장거리 의존성과 같은 계층적 의미적 구조를 드러낸다. 이 방법은 기존 지식을 초월한 예상치 못한 표현까지 포함하여 해석 가능하고 데이터 기반의 시각화를 가능하게 하여, NLP 모델의 해석 가능성에 새로운 통찰을 제공한다.

ABSTRACT

Transformer networks have revolutionized NLP representation learning since they were introduced. Though a great effort has been made to explain the representation in transformers, it is widely recognized that our understanding is not sufficient. One important reason is that there lack enough visualization tools for detailed analysis. In this paper, we propose to use dictionary learning to open up these "black boxes" as linear superpositions of transformer factors. Through visualization, we demonstrate the hierarchical semantic structures captured by the transformer factors, e.g., word-level polysemy disambiguation, sentence-level pattern formation, and long-range dependency. While some of these patterns confirm the conventional prior linguistic knowledge, the rest are relatively unexpected, which may provide new insights. We hope this visualization tool can bring further knowledge and a better understanding of how transformer networks work. The code is available at https://github.com/zeyuyun1/TransformerVis

연구 동기 및 목표

• 트랜스포머 모델의 컨텍스트에 민감한 표현을 해석하는 데 효과적인 시각화 도구의 부족을 해결하기 위해.
• 일반적으로 너무 단순하여 사전 언어 지식을 초월한 표현을 드러내지 못하는 탐색 작업의 한계를 극복하기 위해.
• 모델의 계층적 레이어 내에서 언어적 구조를 세밀하게 국소화하기 위해.
• 주의 기반 표현에서 알려진 언어 현상뿐 아니라 새로운, 예상치 못한 패턴을 드러내는 방법을 개발하기 위해.
• 컨텍스트에 민감한 의미를 트랜스포머가 어떻게 인코딩하는지 분석하기 위한 데이터 기반이고 해석 가능한 프레임워크를 제공하기 위해.

제안 방법

• 비음수 희박 코딩을 통해 컨텍스트에 민감한 단어 임베딩을 학습된 '트랜스포머 팩터'의 희박한 선형 조합으로 모델링한다.
• 모든 깊이에서 계층적 표현을 캡처하기 위해 다수의 트랜스포머 레이어에 걸쳐 통합된 사전을 학습한다.
• 최적화는 FISTA를 사용하여 역문제를 해결한다: $ x = \Phi\alpha + \epsilon $, $ \alpha \succeq 0 $를 만족시켜 비음수이고 희박한 계수를 보장한다.
• 사전 $ \Phi \in \mathbb{R}^{d \times m} $ 는 과잉 결정형($ m > d $)이므로 의미 콘텐츠의 풍부하고 분리된 분해를 가능하게 한다.
• 스킵 연결을 활용하여 각 레이어의 출력을 모든 하위 레이어의 수정 사항의 조합으로 모델링한다.
• 이 방법은 BERT 스타일 모델의 모든 레이어에서 수집된 컨텍스트에 민감한 임베딩에 적용되어 학습된 요소의 시각화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 트랜스포머의 컨텍스트에 민감한 단어 임베딩은 의미적으로 해석 가능한 의미적 요소의 희박한 선형 조합으로 유의미하게 분해될 수 있는가?
• RQ2 학습된 요소에서 어떤 계층적 의미적 구조—다의어, 문법 패턴, 또는 장거리 의존성 등—가 드러나는가?
• RQ3 학습된 요소는 알려진 언어 현상을 드러내는가, 아니면 새로운, 뜻밖의 표현을 드러내는가?
• RQ4 요소 분해 방식은 레이어 간에 어떻게 다름과 그로 인해 트랜스포머 내에서 의미 정보가 어떻게 흐르는지에 대한 함의는 무엇인가?
• RQ5 이 방법은 특정 언어적 특징이 모델 아키텍처의 어디에 인코딩되어 있는지 국소화할 수 있는가?

주요 결과

• 이 방법은 단어 수준의 다의어 해소와 같은 계층적 의미적 구조를 성공적으로 시각화하였으며, 동일한 단어가 서로 다른 맥락에서 다른 요소로 표현되는 것을 확인하였다.
• 문장 수준의 패턴 형성이 관찰되었으며, 요소들이 텍스트의 여러 구간에 걸쳐 문법적 및 논의 수준의 의존성을 포괄하였다.
• 장거리 의존성은 분산된, 희박한 요소의 조합을 통해 인코딩되었으며, 이는 장거리 추론을 위한 조합적 메커니즘이 있음을 시사한다.
• 일부 학습된 요소는 전통적인 언어 카테고리(예: 품사, 명명된 실체)와 일치하여, 이 방법의 해석 가능성에 대한 타당성을 입증하였다.
• 다른 요소들은 예상치 못한, 전통적이지 않은 의미 패턴을 나타내어, 트랜스포머가 언어를 처리하는 방식에 대한 새로운 구조적 통찰을 제공하였다.
• 요소 분해가 레이어 간에 안정적이며, 표현이 덧셈적 수정을 통해 진화한다는 점이 확인되어, 스킵 커넥션 가설과 일관성을 보였다.