[논문 리뷰] f-Divergence Minimization for Sequence-Level Knowledge Distillation

Yuqiao Wen, Zichao Li외 2명|arXiv (Cornell University)|2023. 07. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 교사 및 학생 모델의 분포 간 f-divergence를 최소화하는 통합 프레임워크인 f-distill을 제안한다. 지식 정련을 f-divergence 최소화 문제로 재정의하고 오프라인 샘플링을 통한 단계별 분해를 도출함으로써, f-distill은 네 가지 텍스트 생성 작업에서 기존 방법들을 능가한다. 대칭적 분산(즉, JS 및 TVD)은 모드 평균화 및 붕괴 문제를 감소시킨다.

ABSTRACT

Knowledge distillation (KD) is the process of transferring knowledge from a large model to a small one. It has gained increasing attention in the natural language processing community, driven by the demands of compressing ever-growing language models. In this work, we propose an f-DISTILL framework, which formulates sequence-level knowledge distillation as minimizing a generalized f-divergence function. We propose four distilling variants under our framework and show that existing SeqKD and ENGINE approaches are approximations of our f-DISTILL methods. We further derive step-wise decomposition for our f-DISTILL, reducing intractable sequence-level divergence to word-level losses that can be computed in a tractable manner. Experiments across four datasets show that our methods outperform existing KD approaches, and that our symmetric distilling losses can better force the student to learn from the teacher distribution.

연구 동기 및 목표

• KL 및 반대 KL 분산과 같은 비대칭 지식 정련 방법의 한계를 해결하기 위해, 각각 모드 평균화와 모드 붕괴 문제를 겪는다.
• 기존의 시퀀스 수준 정련 접근법(예: SeqKD 및 ENGINE)을 일반화된 f-divergence 최소화 프레임워크 아래 통합한다.
• 단계별 분해와 오프라인 교사 샘플링을 통해 시퀀스 수준 f-divergence의 효율적이고 계산 가능한 계산을 개발한다.
• 대칭적 f-divergence(JS 및 TVD)가 학생 모델의 교사 분포와의 일치도 향상에 어떻게 기여하는지 평가한다.
• 요약, 번역, 대화 생성을 포함한 다양한 텍스트 생성 작업에서 일관된 성능 향상을 입증한다.

제안 방법

• 교사 및 학생 출력 분포 간 일반화된 f-divergence 최소화 문제로 시퀀스 수준 지식 정련을 공식화한다.
• f-distill 프레임워크 하에 네 가지 변형을 도출한다: KL, 반대 KL, 젠슨-섀넌(JS), 총 변동 거리(TVD) 정련.
• 시퀀스 수준 f-divergence를 단어 수준 손실로 분해하는 단계별 분해 기법을 제안하여 계산 가능성을 확보한다.
• 대칭적 분산의 계산 비용을 줄이기 위해 교사 모델 출력을 사전에 계산하는 오프라인 샘플링 전략을 도입한다.
• 강화 학습을 피하기 위해 학생 샘플링에 대해 정지 기울기(Stop-gradient)를 적용하는 그리디이고 기울기 기반 최적화 기법을 사용한다.
• 모든 f-divergence 변형에 동일한 학습 목표를 사용하여 일관된 비교 및 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 f-divergence 최소화 기반의 통합 프레임워크는 기존의 KL 기반 방법을 뛰어나 시퀀스 수준 지식 정련을 향상시킬 수 있는가?
• RQ2 대칭적 f-divergence(JS 및 TVD)는 비대칭적 것들(KL 및 반대 KL)과 비교해 모드 평균화 및 모드 붕괴 문제를 얼마나 효과적으로 완화하는가?
• RQ3 단계별 분해와 오프라인 샘플링을 통해 시퀀스 수준 f-divergence 최소화가 얼마나 계산 가능해지는가?
• RQ4 f-distill은 기존의 정련 기반 방법과 비교해 다양한 텍스트 생성 작업에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 대칭 정련 손실이 실질적으로 교사 및 학생 분포 간 일치도 향상에 기여하는가?

주요 결과

• f-distill은 DART, XSum, WMT16 EN-RO, 그리고 공감 대화 데이터셋을 포함한 네 가지 텍스트 생성 데이터셋에서 기존의 분포 매칭 지식 정련 방법을 일관되게 능가한다.
• 대칭적 f-divergence 변형(JS 및 TVD)은 비대칭적 것들(KL 및 RKL)보다 뛰어난 성능을 기록하여, 모드 평균화 및 모드 붕괴가 해로운 영향을 미친다는 것을 확인한다.
• 대표성 매칭 지식 정련과 조합했을 때 f-distill은 뚜렷한 성능 향상을 보이며, 추가 기능으로서의 호환성과 효과성을 입증한다.
• f-divergence의 단계별 분해 기법은 계산이 불가능한 시퀀스 수준 분산을 계산 가능하게 한다.
• 교사 모델에서의 오프라인 샘플링은 성능 손실 없이 대칭 분산의 계산 비용을 효과적으로 줄인다.
• 실증 결과는 제안된 방법이 평가된 모든 벤치마크에서 최고 성능을 기록하며, 다양한 지표와 설정에서 일관된 성능 향상을 보였음을 보여준다.