[논문 리뷰] Self-Knowledge Distillation in Natural Language Processing

Sangchul Hahn, Heeyoul Choi|arXiv (Cornell University)|2019. 08. 02.

Topic Modeling참고 문헌 20인용 수 20

한 줄 요약

이 논문은 자연어 처리(NLP) 분야에서 자기지식 정착(Self-Knowledge Distillation, SKD)이라는 새로운 지식 정착 방법을 제안한다. 이 방법은 모델의 자체 단어 임베딩 공간에서 유도된 소프트 타겟 확률을 활용하여 성능을 햖थ한다. 특히, 소프트맥스 이전의 레이어에서 생성된 소프트 타겟을 임베딩 공간 내의 벡터 유사도를 통해 근사함으로써, 일반화 능력을 향상시키고 과적합을 줄이며, 언어 모델링 및 신경 기계 번역 작업 전반에서 일관된 성능 향상을 달성한다.

ABSTRACT

Since deep learning became a key player in natural language processing (NLP), many deep learning models have been showing remarkable performances in a variety of NLP tasks, and in some cases, they are even outperforming humans. Such high performance can be explained by efficient knowledge representation of deep learning models. While many methods have been proposed to learn more efficient representation, knowledge distillation from pretrained deep networks suggest that we can use more information from the soft target probability to train other neural networks. In this paper, we propose a new knowledge distillation method self-knowledge distillation, based on the soft target probabilities of the training model itself, where multimode information is distilled from the word embedding space right below the softmax layer. Due to the time complexity, our method approximates the soft target probabilities. In experiments, we applied the proposed method to two different and fundamental NLP tasks: language model and neural machine translation. The experiment results show that our proposed method improves performance on the tasks.

연구 동기 및 목표

• 모델 자체의 내부 지식을 활용하여 NLP 모델의 과적합을 완화하고 일반화 능력을 향상시키는 것.
• 모델의 자체 단어 임베딩 공간에서 유도된 소프트 타겟 확률이 효과적인 지식 정착 신호로 기능할 수 있는지 탐색하는 것.
• 외부 교사 모델이 필요 없는 경량이며 자기지도 학습 기반의 정착 메커니즘을 개발하는 것.
• 언어 모델링 및 신경 기계 번역과 같은 다양한 NLP 작업에서 SKD의 효과성을 평가하는 것.
• 노이즈 주입과 같은 데이터 증강 기법과의 상호작용을 조사하는 것.

제안 방법

• SKD는 소프트맥스 이전의 단어 임베딩 레이어를 소프트 타겟 확률의 원천으로 사용하며, 예측된 단어 임베딩와 타겟 단어 임베딩 간의 유사도를 통해 이를 근사한다.
• 방법론은 예측된 단어 벡터 $ w_n $와 타겟 단어 벡터 $ w_t $ 간의 코사인 유사도를 사용하여 유사도 기반 소프트 타겟 확률 $ q_n $를 정의한다. 여기서 $ q_n = \text{sim}(w_n, w_t) $이다.
• 온도 조정된 교차 엔트로피 손실이 적용되며, 표준 교차 엔트로피 손실과 함께, 예측값이 내부 소프트 타겟과 일치하도록 유도하는 정착 손실이 포함된다.
• 정착 손실은 하이퍼파ram터 $ \alpha $에 의해 가중되며, 이는 학습 중 0에서 1로 점진적으로 증가하도록 스케줄링되어, 자기정착 신호를 점차적으로 통합한다.
• 모델의 임베딩 공간 기하학적 구조에 기반하여 소프트 레이블 계산을 직접 수행하지 않아 계산 비용을 감소시킨다.
• SKD는 아키텍처 변경 없이 표준 언어 모델링 및 신경 기계 번역 학습 파이프라인에 통합된다.

실험 결과

연구 질문

• RQ1 모델의 자체 단어 임베딩 공간에서 유도된 소프트 타겟 확률이 NLP 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 표준 교차 엔트로피 학습 대비 자기지식 정착이 과적합을 줄이는가?
• RQ3 노이즈 주입과 같은 데이터 증강 기법과 결합했을 때 SKD는 어떻게 성능을 내는가?
• RQ4 언어 모델링 및 신경 기계 번역과 같은 다양한 NLP 작업에서 SKD의 성능 향상이 일관된가?
• RQ5 SKD는 최적화의 안정성을 해치지 않으면서 성능을 극대화하기 위해 학습 중에 효과적으로 스케줄링될 수 있는가?

주요 결과

• SKD는 언어 모델링 및 신경 기계 번역 작업 전반에서 일관되게 BLEU 점수를 향상시켰다: En-Fi, Fi-En, En-De 번역 작업 모두에 대해.
• 빔 너비 1일 때 En-Fi 번역 작업에서 SKD는 8.36의 BLEU 점수를 기록했으며, 기준값 7.29보다 높았다. 빔 너비 12일 땐 9.87점(기준값 9.01)을 기록했다.
• 노이즈 주입과 SKD의 조합이 가장 높은 성능을 보였으며, 빔 너비 12일 때 En-Fi 번역에서 10.13의 BLEU 점수를 기록해 기준값보다 0.92점 높였다.
• 예측된 단어 벡터와 타겟 단어 벡터 간의 유사도를 나타내는 $ q_n $ 값이 시간이 지남에 따라 증가했으며, 이는 모델이 더 정확하고 의미적으로 유사한 예측을 학습했다는 것을 시사한다.
• SKD 모델는 기준 모델 및 노이즈 전용 모델 대비 과적합이 더 느리게 발생했으며, 이는 내부 정착 신호가 일반화 능력을 향상시킨다는 것을 의미한다.
• 학습 중 $ \alpha $ 값을 0에서 1로 점진적으로 증가시킴으로써, 모델이 충분한 초기 지식을 습득한 후에야 자기정착 신호가 도입되어 초기 최적화의 불안정성을 방지했다.