[논문 리뷰] Learning K-way D-dimensional Discrete Codes for Compact Embedding Representations

Ting Chen, Martin Renqiang Min외 1명|arXiv (Cornell University)|2018. 06. 21.

Advanced Graph Neural Networks인용 수 40

한 줄 요약

KD 인코딩은 표준 원-핫 임베딩을 K-way D-차원 이산 코드와 코드-합성 네트워크로 대체하여 end-to-end 학습을 가능하게 하고, 임베딩 매개변수를 크게 줄이면서도 태스크 성능을 유지하거나 향상시킵니다.

ABSTRACT

Conventional embedding methods directly associate each symbol with a continuous embedding vector, which is equivalent to applying a linear transformation based on a "one-hot" encoding of the discrete symbols. Despite its simplicity, such approach yields the number of parameters that grows linearly with the vocabulary size and can lead to overfitting. In this work, we propose a much more compact K-way D-dimensional discrete encoding scheme to replace the "one-hot" encoding. In the proposed "KD encoding", each symbol is represented by a $D$-dimensional code with a cardinality of $K$, and the final symbol embedding vector is generated by composing the code embedding vectors. To end-to-end learn semantically meaningful codes, we derive a relaxed discrete optimization approach based on stochastic gradient descent, which can be generally applied to any differentiable computational graph with an embedding layer. In our experiments with various applications from natural language processing to graph convolutional networks, the total size of the embedding layer can be reduced up to 98\% while achieving similar or better performance.

연구 동기 및 목표

• 대규모 어휘에서 매개변수 수와 과적합을 줄이기 위해 컴팩트한 임베딩 표현을 동기를 부여한다.
• 각 기호를 K의 크기를 가진 D-차원 코드로 표현하는 KD 인코딩 스킴을 제안한다.
• 연속 가능한 학습을 통해 서로 다른 이산 코드를 최적화하고 코드-합성 임베딩 함수를 개발하는 엔드투엔드 학습 프레임워크를 개발한다.
• 자연어 처리와 그래프 컨볼루션 태스크에서 매개변수 절감과 성능 간의 이론적/경험적 분석을 제공한다.

제안 방법

• 각 기호를 c_i = (c_i^1, ..., c_i^D)로 표현하되 각 c_i^j ∈ {1,...,K}인 K-way D-차원 코드를 사용한다.
• 기호를 코드에 매핑하는 코드 할당 함수 φ와 코드를 이용해 임베딩을 생성하는 미분 가능한 코드-합성 함수 f를 사용한다.
• 각 코드 차원을 전용 코드-임베딩 매트릭스 W^j ∈ R^{K×d'}로 임베딩하고, 코드-임베딩 벡터의 (가능하면 선형 또는 비선형) 변환 f_e를 통해 최종 기호 임베딩을 합성한다.
• 확률적 소프트맥스(tempered Softmax)를 통한 이산 코드의 연속 완화를 통해 SGD 기반 학습을 가능하게 하고, 추론 시에는 이산 코드를 복구하기 위해 Straight-Through 추정기를 사용한다.
• 이산 코드의 안정적 end-to-end 학습을 위한 엔트로피 기반 정규화 및 가이드 메커니즘(온라인 증류 가이드, 사전 학습 증류 가이드)을 도입한다.
• 선형 KD-코드 합성을 임베딩 매트릭스의 희소 이진 저랭크 분해와 관련지으며, 비선형 합성이 표현력을 증가시킨다는 것을 보인다.

실험 결과

연구 질문

• RQ1 K-way D-차원 이산 코딩 스킴이 end-to-end로 의미 의미상 의미 있는 기호 임베딩을 학습할 수 있는가?
• RQ2 KD 인코딩을 사용해 성능 손실 없이 임베딩 매개변수 수와 전체 모델 크기를 얼마나 줄일 수 있는가?
• RQ3 신경망에서 이산 코드를 학습시키기 위한 효과적인 전략(예: 연속 완화와 가이드)은 무엇인가?
• RQ4 KD 인코딩은 NLP 및 그래프 태스크에서 저랭크 임베딩 분해 및 다른 기준선과 어떻게 비교되는가?

주요 결과

• KD 인코딩은 태스크 전반에서 임베딩 레이어 크기를 최대 95-98%까지 줄이면서도 비슷하거나 더 나은 성능을 달성할 수 있다.
• 연속 완화 및 증류 가이드를 통한 엔드-투-엔드 코드 학습은 순진한 방법이나 무작위/코드 학습 방식 대비 성능을 크게 향상시킨다.
• 언어 모델링과 텍스트 분류 전반에 걸쳐 유사하거나 더 나은 perplexity/정확도를 임베딩 매개변수와 비트 수를 크게 줄인 상태에서 달성한다.
• 그래프 컨볼루션 네트워크에서도 KD 인코딩은 상대적으로 적은 임베딩 매개변수와 총 비트로 경쟁력 있는 정확도를 제공한다.
• 학습된 코드들은 의미론적 이웃 구조를 보이며, 합리적인 K와 D 선택 하에서 유사한 단어들이 같은 코드 또는 인근 코드로 매핑된다.