[논문 리뷰] Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering

Ekaterina Arkhangelskaia, Sourav Dutta|arXiv (Cornell University)|2019. 10. 14.

Topic Modeling참고 문헌 17인용 수 6

한 줄 요약

이 논문은 질문-답변 작업에서 BERT의 멀티헤드 어텐션 메커니즘을 해석하기 위해 DeepLIFT을 사용하여, 초기 레이어에서는 문법적 구조에 주목하는 반면 더 깊은 레이어에서는 답변과 관련된 토큰에 주목하는 방식으로 어텐션의 이동을 규명한다. 이는 BERT가 일반적인 입력 특징에서 정확한 답변 스파이크로 초점을 점차 좁혀나가는 방식으로, 계층별 어텐션 클러스터링과 할당 분석을 통해 인간과 유사한 추론 패턴을 모방함을 보여준다.

ABSTRACT

There has been great success recently in tackling challenging NLP tasks by neural networks which have been pre-trained and fine-tuned on large amounts of task data. In this paper, we investigate one such model, BERT for question-answering, with the aim to analyze why it is able to achieve significantly better results than other models. We run DeepLIFT on the model predictions and test the outcomes to monitor shift in the attention values for input. We also cluster the results to analyze any possible patterns similar to human reasoning depending on the kind of input paragraph and question the model is trying to answer.

연구 동기 및 목표

• BERT의 멀티헤드 어텐션 메커니즘이 질문-답변 작업에서 높은 성능을 내는 데 기여하는 방식을 조사하는 것.
• 해석 가능성 확보를 위해 DeepLIFT를 활용해 BERT의 레이어를 거쳐 어텐션 값의 변화를 분석하는 것.
• 어텐션 표현을 클러스터링하여 인간의 추론과 유사한 패턴을 탐지하는 것.
• BERT가 맥락 내에서 관련 정보를 어떻게 국소화하여 답변 예측을 수행하는지 이해하는 것.
• 사전 훈련된 트랜스포머 모델인 BERT가 NLP 벤치마크에서 이전 모델들을 능가하는 이유를 밝혀내는 데 기여하는 것.

제안 방법

• SQuaD 2.0 데이터셋에 대해 BERT-base를 피나이팅하여 [CLS]질문[SEP]문단[SEP] 토큰화 방식으로 질문-답변 작업에 사용.
• 최종 예측 레이어에서 입력 토큰으로 향하는 할당 점수를 백프로파게이션하기 위해 DeepLIFT을 적용하여 양성 또는 음성 기여도를 할당.
• PyTorch의 제약로 인해 BERT의 복잡한 멀티헤드, 다중 레이어 어텐션 모듈을 처리하기 위해 DeepLIFT의 백워드 패스를 수정.
• 각 레이어의 어텐션 점수를 추출하고, 다양한 입력 유형 간 유사한 어텐션 패턴을 클러스터링하여 분석.
• 색상 코드를 사용한 토큰을 통해 어텐션 이동을 시각화하며, 빨간색은 높은 어텐션, 파란색은 낮은 어텐션을 나타낸다.
• 할당을 위해 시작 및 끝 토큰 예측을 목표 신경망으로 삼고, 최고 확률 스파이크를 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 질문-답변 추론 과정에서 BERT의 어텐션은 레이어를 거치며 어떻게 변화하는가?
• RQ2 초기 레이어와 후기 레이어에서 가장 높은 어텐션을 받는 입력 토큰은 무엇이며, 이는 답변 예측과 어떻게 관련되는가?
• RQ3 다양한 입력 유형 간 어テン션 패턴이 인간의 추론과 유사한 행동을 반영하는 고유한 군집으로 분류되는가?
• RQ4 BERT의 어텐션 헤드들이 문법적, 의미적, 또는 구조적 신호(예: 구두점, 구분자 등)에 얼마나 주목하는가?
• RQ5 어텐션 이동이 질문-답변 작업에서 인간과 유사한 추론과 얼마나 관련되어 있는가?

주요 결과

• 초기 레이어에서는 [CLS], [SEP], 구두점과 같은 구분자 토큰에 주로 어텐션을 기울이며, 이는 초기 문법적 처리를 나타낸다.
• 레이어 4에서 어텐션은 'beyonce'와 같은 질문 키워드로 이동하며, 이후 레이어 5부터는 완전히 무시됨으로써 동적 초점 조절이 이루어짐을 시사한다.
• 더 깊은 레이어에서는 'beyonce'와 같은 질문 키워드로 어텐션이 재집중되어 답변 맥락의 의미적 확인을 수행함을 보여주며, 이는 이중 단계 추론 과정을 반영한다.
• 최종 레이어에서는 어텐션이 완전히 'late 1990s'라는 정답 스파이크에 집중되며, 정확한 답변으로의 초점 좁힘이 이루어짐을 보여준다.
• 질문 유형에 따라 어텐션 패턴이 고유한 군집으로 분류되며, 다양한 입력 유형 간에 일관된 문법적 집중에서 의미적 집중으로의 전환 패턴이 관찰된다.
• 모델의 어텐션 행동은 문법적 구조 인식에서 의미적 확인으로의 전환을 보이며, 질문-답변 과정에서 인간의 추론과 유사한 진행 방식을 반영한다.