[论文解读] Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation

Mitchell A. Gordon, Kevin Duh|arXiv (Cornell University)|Dec 6, 2019

Natural Language Processing Techniques参考文献 9被引用 22

一句话总结

本文將神經機器翻譯中的序列級知識蒸餾（SLKD）重新解讀為一種資料增強方法，而非簡化雜訊資料的方法。SLKD透過將小型學生模型與教師模型所學到的流形對齊，間接實現正則化。作者證明SLKD可提升泛化能力，且無需使用dropout，在TED Talks數據集上實現0.7–1.2的BLEU提升；並顯示將SLKD與反翻譯或束搜索輸出結合，可進一步提升性能。

ABSTRACT

Sequence-level knowledge distillation (SLKD) is a model compression technique that leverages large, accurate teacher models to train smaller, under-parameterized student models. Why does pre-processing MT data with SLKD help us train smaller models? We test the common hypothesis that SLKD addresses a capacity deficiency in students by "simplifying" noisy data points and find it unlikely in our case. Models trained on concatenations of original and "simplified" datasets generalize just as well as baseline SLKD. We then propose an alternative hypothesis under the lens of data augmentation and regularization. We try various augmentation strategies and observe that dropout regularization can become unnecessary. Our methods achieve BLEU gains of 0.7-1.2 on TED Talks.

研究动机与目标

• 探討序列級知識蒸餾（SLKD）為何能提升小型神經機器翻譯（NMT）模型的表現。
• 測試SLKD因小型模型容量限制而簡化雜訊訓練資料的假設。
• 探討SLKD是否可視為一種資料增強形式，並提供隱含正則化，而非容量修正。
• 評估SLKD是否可取代小型模型中的顯式正則化技術（如dropout）。
• 評估SLKD與其他資料增強策略（如反翻譯或多束輸出）結合時的泛化優勢。

提出的方法

• 作者在TED德語-英語數據集上訓練一個大型教師模型，並使用束搜索為訓練資料生成翻譯。
• 透過將原始資料與教師模型的翻譯結果結合，建立增強的訓練資料集，稱為「KD」資料。
• 額外的資料增強方式包括將KD資料與反翻譯輸出結合（「base+kd+bt」），以及使用前兩名束搜索輸出（「base+best-2」）。
• 在這些增強資料集上訓練小型與大型學生模型，並以BLEU分數與訓練困惑度比較表現。
• 透過移除dropout正則化來進行消融實驗，測試SLKD是否可取代顯式正則化。
• 分析收斂曲線並在多組隨機種子下驗證結果，以確保結果穩健。

实验结果

研究问题

• RQ1 SLKD是否因模型容量限制而簡化雜訊資料點，從而提升小型NMT模型的表現？
• RQ2 SLKD是否可被視為一種資料增強形式，用以正則化訓練分佈？
• RQ3 SLKD是否能減少小型學生模型對顯式正則化技術（如dropout）的依賴？
• RQ4 不同資料增強策略（如反翻譯或多束輸出）與SLKD的互動方式為何？
• RQ5 SLKD帶來的性能提升是否源於沿教師模型所學流形的隱含正則化，而非顯式的資料簡化？

主要发现

• SLKD透過簡化雜訊資料點來提升表現的假設可能性較低，因為在原始資料與KD資料併合後訓練的模型，其泛化能力與僅使用SLKD訓練的模型相當。
• SLKD透過引導小型模型朝向教師模型所學流形的方向，發揮隱含正則化作用，進而提升泛化能力，且不需限制模型容量。
• 當移除dropout後，基線模型與SLKD模型之間的性能差距擴大，顯示SLKD可取代dropout作為正則化手段。
• 將SLKD與反翻譯或使用前兩名束搜索輸出結合，可帶來累積的BLEU提升，最佳結果達32.99 BLEU（大型學生模型）。
• 增強資料集的收斂速度優於基線，且無需延長訓練時間，顯示SLKD提升了資料效率。
• 此結果在小型與大型學生模型上均成立，顯示SLKD的正則化效果即使在模型容量非限制因素時依然有效。