[논문 리뷰] Attention Temperature Matters in Abstractive Summarization Distillation

Shengqiang Zhang, Xingxing Zhang외 2명|arXiv (Cornell University)|2021. 06. 07.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 압축 요약 학습을 향상시키기 위해 교사 모델의 어텐션 온도를 높여 어텐션 분포를 부드럽게 하는 Plate라는 방법을 제안한다. 이로 인해 더 간결하고 개성 있는 가짜 레이블이 생성되며, 실험 결과 학생 모델이 더 짧고 더 개성 있는 요약을 생성함으로써 CNN/DM, XSum, NYT 세 가지 요약 데이터셋에서 기존의 순수 가짜 레이블링 방식을 일관되게 뛰어넘는 성능을 보였다.

ABSTRACT

Recent progress of abstractive text summarization largely relies on large pre-trained sequence-to-sequence Transformer models, which are computationally expensive. This paper aims to distill these large models into smaller ones for faster inference and minimal performance loss. Pseudo-labeling based methods are popular in sequence-to-sequence model distillation. In this paper, we find simply manipulating attention temperatures in Transformers can make pseudo labels easier to learn for student models. Our experiments on three summarization datasets show our proposed method consistently improves over vanilla pseudo-labeling based methods. We also find that both the pseudo labels and summaries produced by our students are shorter and more abstractive. Our code is available at \url{https://github.com/Shengqiang-Zhang/plate}.

연구 동기 및 목표

• 교사 모델이 생성한 요약에 복사 편향과 선두 편향이 존재하는 기존의 순수 가짜 레이블링 기법의 한계를 해결하기 위해.
• 교사 모델의 어텐션 분포에서 과도한 확신을 줄여 학생 모델의 가짜 레이블을 최적화하기 위해.
• 더 부드러운 어텐션 메커니즘을 통해 더 간결하고 다양한 요약을 생성함으로써, 학습된 학생 모델의 요약 개성화 수준을 향상시키기 위해.
• 교사 모델에서 온도 조절 어텐션을 사용할 경우, 학생 모델을 재학습하지 않고도 학습 성능 향상이 가능한지 조사하기 위해.
• 부드러운 어텐션 분포가 학생 모델의 일반화 능력 향상과 더 개성적인 행동을 이끌 수 있는지 검증하기 위해.

제안 방법

• 교사 모델의 닷-프로덕트 어텐션 메커니즘에서 로그리트를 재스케일링하기 위해 온도 스케일링 인자 λ를 도입하여 더 부드러운 어텐션 분포를 생성한다.
• λ > 1.0인 수정된 교사 모델을 사용해 학생 모델 학습을 위한 가짜 레이블을 생성하며, 기존의 어텐션 방식을 고온도 어텐션으로 대체한다.
• 기존의 순수 가짜 레이블링과 동일한 학습 목표를 사용하지만, 부드러운 어텐션을 가진 교사 모델에서 유도된 가짜 레이블을 사용함으로써 더 나은 일반화 성능을 달성한다.
• 입력 토큰 위치를 [0.0, 1.0] 범위로 정규화하고, 문서의 각 블록에 대해 명백한 교차 어텐션 가중치(≥0.15)의 분포를 분석하여 편향 감소 정도를 정량화한다.
• 온도가 어텐션 엔트로피에 미치는 영향을 평가하고, 이를 예측 엔트로피 및 생성 행동(복사 대 대체)과 상관관계를 분석한다.
• 교차 어텐션 가중치를 시각화하여 고온도 λ를 사용할 경우 복사 편향(짧은 어텐션 선)과 선두 편향(넓은 어텐션 분포)이 감소하는 것을 정성적으로 확인한다.

실험 결과

연구 질문

• RQ1 교사 모델의 어텐션 온도를 높일 경우, 생성된 가짜 레이블에서 복사 편향과 선두 편향이 감소하는가?
• RQ2 교사 모델의 부드러운 어텐션 분포가 학생 모델의 더 개성 있고 간결한 요약 생성에 기여하는가?
• RQ3 온도 스케일링이 어텐션 및 예측 분포의 엔트로피에 미치는 영향은 무엇이며, 이는 생성 행동과 관련이 있는가?
• RQ4 Plate는 여러 개의 요약 학습 벤치마크에서 일관되게 학습 성능을 향상시키는가?
• RQ5 교사 모델에서의 고온도 적용 효과는 요약을 초월한 다른 순서-순서 모델 작업으로 일반화 가능한가?

주요 결과

• Plate는 CNN/DailyMail, XSum, NYT 세 데이터셋에서 기존의 순수 가짜 레이블링 방식보다 ROUGE 점수를 일관되게 향상시키며, ROUGE-L에서 뚜렷한 향상이 관찰된다.
• CNN/DailyMail 데이터셋에서 Plate로 생성된 가짜 레이블을 사용해 학습한 학생 모델은 ROUGE-L 점수 44.92를 기록했으며, 표준 가짜 레이블링 방식은 44.71이었다.
• 고온도 교사 모델에서 생성된 가짜 레이블은 원본에서 56%의 4-그램을 복사했으나, 기준 요약에서는 15%에 그치므로 복사 편향이 감소하고 요약의 개성화 수준이 향상됨을 시사한다.
• 명백한 교차 어텐션 가중치(≥0.15)의 분포는 λ=1.0일 경우 첫 200단어에서 λ=2.0일 경우 첫 450단어로 이동하여 선두 편향이 감소함을 보였다.
• Plate로 학습된 학생 모델의 요약은 더 개성 있고 간결하며, 새로운 n-그램 비율이 높고 복사 비율이 낮다.
• 이 방법은 다른 작업으로도 일반화 가능하다. WMT16 영어-독일어 번역 작업에서 Plate는 표준 가짜 레이블링 대비 BLEU 점수 27.90을 기록했으며, 기존 방식은 27.79였다.