[논문 리뷰] Understanding Multi-Head Attention in Abstractive Summarization

Joris Baan, Maartje ter Hoeve외 3명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 37인용 수 9

한 줄 요약

이 논문은 개략적 요약 모델에서 다중헤드 어텐션의 해석 가능성에 대해 조사하며, 헤드 전문화 분석을 위한 메트릭을 제안하고, 스퍼스리티(스퍼스맥스를 통해) 및 프루닝을 평가한다. 분석 결과, 어텐션 헤드는 상대적 위치, 명시적 실체, 문법적 구조에 전문화되어 있음에도 불구하고 대부분 상호보완적임을 확인했으며, 스퍼스맥스는 해석 가능성 메트릭을 향상시켰지만 더 많은 프루닝을 가능하게 하여, 강제로 스퍼스리티를 적용하는 것이 진정으로 투명성을 높이는지에 대한 의문을 제기한다.

ABSTRACT

Attention mechanisms in deep learning architectures have often been used as a means of transparency and, as such, to shed light on the inner workings of the architectures. Recently, there has been a growing interest in whether or not this assumption is correct. In this paper we investigate the interpretability of multi-head attention in abstractive summarization, a sequence-to-sequence task for which attention does not have an intuitive alignment role, such as in machine translation. We first introduce three metrics to gain insight in the focus of attention heads and observe that these heads specialize towards relative positions, specific part-of-speech tags, and named entities. However, we also find that ablating and pruning these heads does not lead to a significant drop in performance, indicating redundancy. By replacing the softmax activation functions with sparsemax activation functions, we find that attention heads behave seemingly more transparent: we can ablate fewer heads and heads score higher on our interpretability metrics. However, if we apply pruning to the sparsemax model we find that we can prune even more heads, raising the question whether enforced sparsity actually improves transparency. Finally, we find that relative positions heads seem integral to summarization performance and persistently remain after pruning.

연구 동기 및 목표

• 다중헤드 어텐션 모델이 개략적 요약에서 신뢰할 수 있는 해석 가능성 메커니즘으로 기능할 수 있는지 평가하는 것.
• 요약 과정에서 어텐션 헤드가 특정 언어적 및 구조적 패턴(예: 문법, 명시적 실체, 상대적 위치 등)에 어떻게 전문화되어 있는지 규명하는 것.
• 스퍼스맥스를 통해 스퍼스리티를 강제 적용할 경우 어텐션 헤드의 해석 가능성과 충실도가 향상되는지 평가하는 것.
• 프루닝이 소프트맥스 및 스퍼스맥스 모델 모두에서 어텐션 헤드 성능과 해석 가능성에 미치는 영향을 조사하는 것.
• 어텐션 헤드가 모델 성능을 위해 진정으로 필요한지 아니면 상호보완적인지 판단하여, 그들의 투명성에 대한 기존 가정을 도전하는 것.

제안 방법

• 세 가지 새로운 해석 가능성 메트릭을 제안: POS-KL(문법 전문화), NE-Ratio(명시적 실체에 대한 의미적 집중도), 상대적 위치 어텐션 스코어링.
• 개별 어텐션 헤드 제거가 모델 성능에 미치는 영향을 평가하기 위해 아블레이션과 프루닝을 적용.
• 표준 소프트맥스 활성화 함수를 대체하여 스퍼스맥스를 도입해 더 흐린 어텐션 분포를 강제로 적용하고 해석 가능성 향상.
• 스퍼스맥스 기반 트랜스포저 모델(Sparse-TL)을 훈련하고, 기준 소프트맥스 모델과 ROUGE 메트릭을 기반으로 비교 평가.
• 헤드 전문화 및 프루닝·아블레이션 이후 성능 안정성을 평가하기 위해 정량적 메트릭을 사용.
• 에코더 및 디코더 레이어 전반에서 헤드 행동을 분석하고, 프루닝 이후에도 지속되는 전문화된 헤드의 존재 여부에 초점.

실험 결과

연구 질문

• RQ1 개략적 요약 모델의 개별 다중헤드 어텐션 헤드가 문법, 명시적 실체, 상대적 위치와 같은 특정 언어 패턴에 얼마나 전문화되어 있는가?
• RQ2 소프트맥스를 스퍼스맥스로 대체할 경우 어텐션 헤드의 해석 가능성과 충실도에 어떤 영향을 미치는가?
• RQ3 어텐션 헤드를 프루닝할 경우 성능 저하가 심각하게 발생하는가? 만약 그렇지 않다면, 이는 어텐션 헤드의 상호보완성에 대해 무엇을 시사하는가?
• RQ4 프루닝 이후 요약 성능에 가장 중요한 역할을 하는 어텐션 헤드 유형(예: 상대적 위치, 문법적, 의미적)은 무엇인가?
• RQ5 스퍼스맥스를 통한 강제 스퍼스리티가 진정으로 투명성을 향상시키는가, 아니면 단지 더 극단적인 프루닝을 가능하게 할 뿐이며 신뢰성은 증가시키지 않는가?

주요 결과

• 제안된 해석 가능성 메트릭을 통해 개략적 요약 모델의 어텐션 헤드가 상대적 위치, 특정 품사 태그, 명시적 실체에 전문화되어 있음을 확인.
• 개별 헤드를 아블레이션해도 성능 저하가 유의미하게 발생하지 않아, 모델 내 어텐션 헤드 간 높은 상호보완성 존재.
• 소프트맥스를 스퍼스맥스로 대체함으로써 해석 가능성 메트릭이 향상되었고, 성능 저하 없이 제거 가능한 헤드 수가 감소.
• 해석 가능성 향상에도 불구하고 스퍼스맥스 모델은 기준 모델보다 43개의 헤드를 프루닝할 수 있었으며, 이는 강제 스퍼스리티가 진정으로 투명성을 높이기보다는 더 많은 프루닝을 가능하게 할 뿐임을 시사.
• 두 모델 모두에서 프루닝 후 상대적 위치 헤드가 지속적으로 존재하며 성능에 필수적인 역할을 함을 확인하여, 요약 과정에서의 핵심적 기여를 입증.
• 프루닝 후 생존한 문법적 헤드는 주로 'the'라는 단어에 집중하고 있어, 일부 생존 헤드가 의미 있는 요약 패턴을 반영하지 못할 수 있음.