[논문 리뷰] exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models

Benjamin Hoover, Hendrik Strobelt외 1명|arXiv (Cornell University)|2019. 10. 11.

Topic Modeling참고 문헌 18인용 수 47

한 줄 요약

exBERT는 Transformer 모델에서 주의(attention) 패턴과 토큰 임베딩을 모두 분석하는 대화형 시각화 도구로, 입력 맥락을 대규모 주석 코퍼스에 매칭하여 학습된 표현이 무엇을 인코드하는지 검사할 수 있습니다. 주의 뷰를 코퍼스 주도 근사 이웃 검색과 결합하여 헤드와 임베딩이 포착한 언어 정보를 드러냅니다.

ABSTRACT

Large language models can produce powerful contextual representations that lead to improvements across many NLP tasks. Since these models are typically guided by a sequence of learned self attention mechanisms and may comprise undesired inductive biases, it is paramount to be able to explore what the attention has learned. While static analyses of these models lead to targeted insights, interactive tools are more dynamic and can help humans better gain an intuition for the model-internal reasoning process. We present exBERT, an interactive tool named after the popular BERT language model, that provides insights into the meaning of the contextual representations by matching a human-specified input to similar contexts in a large annotated dataset. By aggregating the annotations of the matching similar contexts, exBERT helps intuitively explain what each attention-head has learned.

연구 동기 및 목표

• Transformer 모델에서 주의와 토큰 임베딩을 검사하기 위한 대화형이며 모델에 구애받지 않는 시각화를 제공합니다.
• 코퍼스 기반 근사 이웃 검색을 통해 학습된 표현이 어떤 언어학적 정보와 위치 정보를 인코딩하는지 탐색하도록 합니다.
• 헤드와 레이어가 메타데이터(POS, DEP, NER 등)를 어떻게 포착하는지 밝히기 위해 주의 패턴과 임베딩 유사성을 비교하도록 사용자가 할 수 있게 합니다.
• Wizard of Oz 코퍼스에 대한 BERT 사례 연구를 통해 레이어 간의 언어 특징 인코딩 진행을 보여 주며 적용 가능성을 시연합니다.

제안 방법

• 세 가지 주요 구성요소: Attention View(대화형 레이어/헤드 선택 및 마스킹), Corpus View(주석이 달린 참조 코퍼스에 대한 근사 이웃 검색), 그리고 Summary View(메타데이터 히스토그램).
• 근사 이웃 검색은 토큰 임베딩과 연결된 헤드 임베딩의 연결 벡터 사이의 코사인 유사도를 사용하여 언어적으로 주석된 코퍼스에서 상위 매치를 찾습니다.
• 헤드 임베딩은 한 레이어 내에서 정규화된 헤드 표현을 연결하여 정의되며, 특정 헤드 부분 집합에 대한 선택적 검색을 가능하게 합니다.
• 참조 코퍼스는 문장 단위로 분할되고 언어학적 메타데이터(POS, DEP, NER)로 주석이 달려 매치를 위한 의미 있는 맥락을 제공합니다.
• 검색 결과는 마우스 오버 시 메타데이터와 함께 상위 매치를 표시하고, 임베딩이 포착한 언어적 특징을 설명하는 요약이 제공됩니다.
• 이 접근법은 토큰화 및 메타데이터 할당을 조정함으로써 BERT를 넘어 다양한 Transformer 모델과 코퍼스에 적용될 수 있습니다.

실험 결과

연구 질문

• RQ1 학습된 토큰 임베딩은 Transformer 모델의 서로 다른 레이어에서 어떤 언어학적 및 구조적 정보를 인코딩합니까?
• RQ2 주의 헤드가 언어 특징 인코딩에 어떻게 기여하며, 이들의 역할을 코퍼스 기반 근사 이웃 검색을 통해 해석할 수 있습니까?
• RQ3 대화형 시각화가 모델 레이어와 헤드 전반에 걸친 언어 특징 인코딩의 진행을 보여줄 수 있습니까? (예: POS, DEP, NER)
• RQ4 임시 마스킹된 토큰이 무엇을 나타내는지 임베딩과 주의 정보를 주석이 달린 코퍼스 맥락과 연결하여 설명하는 데 도구가 효과적입니까?

주요 결과

• 주의 및 임베딩 분석은 레이어가 증가함에 따라 언어 특징이 점진적으로 인코딩된다는 것을 보여줍니다(마스킹된 토큰 시나리오에서 초기 레이어의 구두점/DET에서 나중 레이어의 동사로의 인코딩 등).
• 헤드 임베딩으로 검색하면 의존 구조(DOBJ, ROOT, AUX 등)를 드러낼 수 있으며, 이는 단일 헤드가 아닌 헤드의 조합에 의존할 수 있습니다.
• 위치 헤드는 다음 단어에 대한 체계적인 주의를 보이고 대응하는 POS/DEP 패턴을 드러내며, 일부 헤드가 위치 정보를 인코딩하는 방식을 보여줍니다.
• 이 도구는 특정 언어적 관계를 감지하는 데 단일 헤드가 아닌 헤드의 조합이 작용한다는 것을 시연하며, 학습된 표현의 분산적 특성을 강조합니다.
• exBERT는 주의 시각화와 코퍼스 기반 메타데이터 주석을 통합하여 맥락적 표현이 무엇을 학습하는지 검사하는 실용적이고 모델에 구애받지 않는 방법을 제공합니다.