[논문 리뷰] Distilled embedding: non-linear embedding factorization using knowledge distillation

Vasileios Lioutas, Ahmad Rashid외 3명|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 25인용 수 8

한 줄 요약

이 논문은 지식 정착을 통한 저질서 행렬 분해를 사용하는 비선형 단어 임베딩 압축 방법인 Distilled Embedding을 제안한다. 먼저 전체 임베딩을 재구성하기 위해 분해된 임베딩을 사전 훈련한 후, 다운스트림 작업에서 지식 정착을 통해 미세조정함으로써, 저질서 분해 및 최근의 압축 방법보다 우수한 성능을 달성하며, 특히 기계 번역에서 높은 압축률일 경우에 뛰어난 성능을 보인다.

ABSTRACT

Word-embeddings are a vital component of Natural Language Processing (NLP) systems and have been extensively researched. Better representations of words have come at the cost of huge memory footprints, which has made deploying NLP models on edge-devices challenging due to memory limitations. Compressing embedding matrices without sacrificing model performance is essential for successful commercial edge deployment. In this paper, we propose Distilled Embedding, an (input/output) embedding compression method based on low-rank matrix decomposition with an added non-linearity. First, we initialize the weights of our decomposition by learning to reconstruct the full word-embedding and then fine-tune on the downstream task employing knowledge distillation on the factorized embedding. We conduct extensive experimentation with various compression rates on machine translation, using different data-sets with a shared word-embedding matrix for both embedding and vocabulary projection matrices. We show that the proposed technique outperforms conventional low-rank matrix factorization, and other recently proposed word-embedding matrix compression methods.

연구 동기 및 목표

• 메모리 제약이 있는 엣지 디바이스에 NLP 모델을 구현하는 데 방해가 되는 단어 임베딩 행렬의 높은 메모리 사용 문제를 해결한다.
• 기존의 저질서 행렬 분해를 개선하기 위해 비선형성과 지식 정착을 도입하여 압축 과정 동안 모델 성능을 유지한다.
• 순서-순서 모델에서 공유된 단어 임베딩 및 어휘 투영 행렬을 효과적으로 압축하면서 성능 저하 없이 유지한다.
• 제안된 방법이 다양한 데이터셋과 압축 비율에서 기존의 임베딩 압축 기법보다 뛰어나다는 것을 입증한다.

제안 방법

• 전체 단어 임베딩 행렬을 저질서 행렬 분해를 적용하여 두 개의 더 작은 행렬로 분해하고, 표현 능력을 향상시키기 위해 비선형 변환을 도입한다.
• 원래의 임베딩 행렬과 분해된 행렬의 곱 사이의 재구성 손실을 최소화하여 분해된 임베딩을 사전 훈련한다.
• 다운스트림 작업에서 교사 모델(전체 임베딩)의 로짓에서 학습하는 학생 모델(분해된 임베딩)을 사용하여 압축된 임베딩을 미세조정한다.
• 순서-순서 모델에서 공유된 임베딩 및 투영 행렬 설정을 사용하여 압축 과정에서 일관성과 중복을 줄인다.
• 다운스트림 작업에서 교차 엔트로피 손실을 최적화하여 전체 파ip라인을 엔드 투 엔드로 최적화하고, 압축된 임베딩을 작업에 특화된 표현과 일치시킨다.
• 비선형 전환 과정에서 정보 흐름을 유지하기 위해 잔차 연결 또는 스킵 연결 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 지식 정착을 통한 비선형 저질서 분해가 기존의 저질서 분해보다 단어 임베딩 압축에서 더 나은 성능을 내는가?
• RQ2 높은 압축 비율에서 제안된 방법이 다운스트림 NLP 작업에서 성능을 얼마나 잘 유지하는가?
• RQ3 사전 훈련과 지식 정착의 조합이 기계 번역에서 압축된 임베딩의 일반화에 어떤 영향을 미치는가?
• RQ4 순서-순서 모델에서 입력과 출력 투영 간에 동일한 임베딩 행렬을 공유할 경우 성능이 유지되는가?

주요 결과

• 제안된 Distilled Embedding 방법은 모든 테스트 압축 비율에서 기존의 저질서 행렬 분해보다 더 나은 성능을 달성한다.
• 기계 번역 작업에서 최근에 제안된 단어 임베딩 압축 기법보다 특히 높은 압축 비율일 경우에 뛰어난 성능을 보인다.
• 미세조정 단계에서의 지식 정착은 다운스트림 작업에서 압축된 임베딩의 일반화 능력을 크게 향상시킨다.
• 입력과 출력 투영에 동일한 임베딩 행렬을 사용하는 경우에도 메서드는 경쟁 가능한 성능을 유지한다. 이는 순서-순서 모델에서 흔한 설정이다.
• 전체 임베딩 재구성에 대한 사전 훈련 단계는 분해된 모델이 원래의 임베딩 공간을 더 정확하게 근사하는 데 도움을 준다.
• 분해 과정에서의 비선형 성분은 선형 분해만으로는 달성할 수 없는 더 나은 표현 학습에 기여한다.