[논문 리뷰] Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?

Joris Baan, Maartje ter Hoeve외 3명|arXiv (Cornell University)|2019. 07. 01.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 개재 요약을 위한 트랜스포머 모델에서 자기 및 크로스 어텐션 헤드가 주어진 주의 패턴을 분석함으로써 진정한 투명성을 제공하는지 조사한다. 정성적 시각화와 새로운 정량적 지표인 POS-KL, NEP, 그리고 상대적 위치 특화도를 사용하여, 일부 헤드가 명시적 실체, 품사, 구두점과 같은 언어학적으로 의미 있는 요소들에 특화되어 있음을 보여주지만, 이 특화 현상은 모델과 문서 간에 일관성이 없어, 모델의 해석 가능성에 주의를 기울여야 할 만한 의문을 제기한다.

ABSTRACT

Learning algorithms become more powerful, often at the cost of increased complexity. In response, the demand for algorithms to be transparent is growing. In NLP tasks, attention distributions learned by attention-based deep learning models are used to gain insights in the models' behavior. To which extent is this perspective valid for all NLP tasks? We investigate whether distributions calculated by different attention heads in a transformer architecture can be used to improve transparency in the task of abstractive summarization. To this end, we present both a qualitative and quantitative analysis to investigate the behavior of the attention heads. We show that some attention heads indeed specialize towards syntactically and semantically distinct input. We propose an approach to evaluate to which extent the Transformer model relies on specifically learned attention distributions. We also discuss what this implies for using attention distributions as a means of transparency.

연구 동기 및 목표

• 요약 생성을 위한 트랜스포머 모델의 어텐션 헤드가 모델 행동에 대해 진정한 투명성을 제공하는지 평가하기.
• 어텐션 헤드가 명시적 실체, 품사, 상대적 위치와 같은 언어학적으로 해석 가능한 입력 요소에 특화되어 있는지 조사하기.
• 다양한 뉴스 기사에 걸쳐 특화 정도를 측정할 수 있는 정량적 지표를 개발하여, 선택적 시각화에 그치지 않고 일반화된 분석을 가능하게 하기.
• 특정 어텐션 분포에 모델이 얼마나 의존하는지 적대적 어텐션 방법을 사용해 평가하여, 어텐션 분포가 인과적 설명으로서 유효한지 검토하기.
• 동일한 아키텍처를 가진 모델들 간에 어텐션 특화 현상이 일관된지 여부를 검토하기.

제안 방법

• 여러 예시에 걸쳐 인코더 자기 어텐션 및 디코더 크로스 어텐션 헤드의 정성적 시각적 검토를 수행하여 주의 분포의 패턴을 식별하기.
• 세 가지 정량적 지표를 제안: 품사에 대한 Kullback-Leibler 발산(POS-KL), 명시적 실체 비율(NEP), 상대적 위치 기반 어텐션 특화도를 통해 1,000개의 뉴스 기사에 걸쳐 헤드 행동을 측정하기.
• 동일한 요약 생성 데이터셋에 대해 서로 다른 무작위 초기화를 가진 여러 트랜스포머 모델을 훈련시켜 헤드 특화의 일관성 평가하기.
• Jain과 Wallace(2019)의 적대적 어텐션 방법을 시퀀스-투-시퀀스 트랜스포머에 적용하여 상위-K 빔 서치 확률을 제약함으로써 개별 어텐션 헤드의 수정이 미치는 영향을 평가하기.
• 특화된 헤드(예: 위치에서 사람으로의 전환)를 재지정하는 적대적 어텐션 분포를 구성하여 요약 생성에 영향을 미치는지 테스트하기.
• 동일한 출력 시퀀스를 유지하면서 어텐션 분포를 수정할 수 있도록 빔 서치 호환성 있는 적대적 변형을 사용하여 헤드 영향력의 통제된 평가를 가능하게 하기.

실험 결과

연구 질문

• RQ1 요약 생성을 위한 트랜스포머 모델의 개별 어텐션 헤드가 명시적 실체, 품사, 구두점과 같은 언어학적으로 의미 있는 입력 요소에 얼마나 특화되어 있는가?
• RQ2 동일한 데이터로 훈련된 서로 다른 모델 초기화 간에 헤드 특화 현상이 얼마나 일관된가?
• RQ3 POS-KL 및 NEP와 같은 정량적 지표가 정성적 시각화를 넘어서 어텐션 헤드의 특화 현상을 신뢰할 수 있게 측정하고 일반화할 수 있는가?
• RQ4 모델이 특정 어텐션 분포에 얼마나 의존하는가? 그리고 어텐션 헤드의 적대적 조작이 요약 출력에 영향을 미치는가?
• RQ5 동일한 아키텍처에서 반복적으로 나타나는 일관성 없는 특화 현상이 어텐션 분포를 모델 행동의 투명한 설명으로 사용하는 것에 대한 신뢰를 훼손하는가?

주요 결과

• 트랜스포머 모델의 일부 어텐션 헤드는 명시적 실체, 품사, 구두점, 사람 및 위치와 같은 특정 어휘 유형에 특화되어 있다.
• 제안된 정량적 지표인 POS-KL, NEP, 상대적 위치 기반 특화도는 1,000개의 뉴스 기사에 걸쳐 전반적인 특화 행동을 성공적으로 식별하고 일반화하며, 정성적 관찰을 확인한다.
• 특화 현상은 서로 다른 모델 초기화 간에 일관성이 없으며, 이는 어텐션 패턴이 데이터나 아키텍처만으로 유일하게 결정되지 않음을 시사한다.
• 특정 헤드가 특화된 것처럼 보일 경우(예: 명시적 실체에 주의를 기울이는 경우)에도 비관련 토큰에 주의를 기울이는 경우가 있어, 의도한 의미 역할에 대한 신뢰도가 제한됨을 시사한다.
• 적대적 어텐션 방법은 어텐션 분포를 수정함으로써 모델 출력에 영향을 줄 수 있음을 보여주지만, 모델의 복잡성과 중복성으로 인해 이 영향의 정도는 명확하지 않다.
• 연구는 어텐션 헤드는 부분적인 투명성을 제공할 수는 있지만, 일관성 부족과 인과적 영향력 부족의 가능성을 감안할 때, 결정적인 설명으로 사용해서는 안 된다고 결론 내린다.