[논문 리뷰] Learning K-way D-dimensional Discrete Code For Compact Embedding Representations

Ting Chen, Martin Renqiang Min외 1명|arXiv (Cornell University)|2017. 11. 08.

Topic Modeling참고 문헌 28인용 수 11

한 줄 요약

이 논문은 기존의 one-hot 인코딩 방식을 대체하기 위해 K-way D차원 이산 코드 체계인 KD 인코딩을 제안한다. 이는 매개변수 증가를 로그 스케일로 줄여주며, 이로 인해 언어 모델링에서 성능을 유지하거나 향상시키면서도 매개변수를 97% 감소시킨다. 이 방법은 이완된 확률적 경사 하강법을 통해 의미적으로 유의미한 이산 코드를 학습함으로써, 기존의 선형 증가 방식에서 벗어나고자 한다.

ABSTRACT

Embedding methods such as word embedding have become pillars for many applications containing discrete structures. Conventional embedding methods directly associate each symbol with a continuous embedding vector, which is equivalent to applying linear transformation based on "one-hot" encoding of the discrete symbols. Despite its simplicity, such approach yields number of parameters that grows linearly with the vocabulary size and can lead to overfitting. In this work we propose a much more compact K-way D-dimensional discrete encoding scheme to replace the "one-hot" encoding. In "KD encoding", each symbol is represented by a $D$-dimensional code, and each of its dimension has a cardinality of $K$. The final symbol embedding vector can be generated by composing the code embedding vectors. To learn the semantically meaningful code, we derive a relaxed discrete optimization technique based on stochastic gradient descent. By adopting the new coding system, the efficiency of parameterization can be significantly improved (from linear to logarithmic), and this can also mitigate the over-fitting problem. In our experiments with language modeling, the number of embedding parameters can be reduced by 97\% while achieving similar or better performance.

연구 동기 및 목표

• 기존 one-hot 인코딩 기반의 임베딩 방법에서 발생하는 선형적 매개변수 증가 문제를 해결하여 확장성 향상과 과적합 위험 감소를 도모한다.
• 의미 표현력을 유지하면서도 모델의 매개변수를 줄일 수 있는 더 컴팩트하고 효율적인 코딩 체계를 개발한다.
• 이산 최적화의 미분 가능 이완을 활용해 데이터로부터 의미적으로 유의미한 이산 코드를 학습한다.
• 모바일 플랫폼과 같은 메모리 제약이 있는 장치에 대규모 임베딩 모델을 구현할 수 있도록 한다.
• one-hot 인코딩의 거의 0%의 효율성 사용률을 높은 활용도를 가진 이산 코드 체계로 대체함으로써 코드 공간 활용도를 향상시킨다.

제안 방법

• KD 인코딩 제안: 각 기호는 K개의 가능한 값이 있는 D차원 코드로 표현되며, 이는 K^D의 코드 공간을 형성한다.
• 각 코드 차원의 학습된 임베딩을 미분 가능한 변환 함수 f(·)를 통해 조합하여 기호 임베딩을 생성한다.
• 직접적인 이산 코드를 통한 역전파를 가능하게 하기 위해 직선 통과 추정기(ste)와 온도 스케줄링을 활용한 확률적 경사 하강법 기반의 이완된 이산 최적화 기법을 사용한다.
• 엔드 투 엔드 학습을 통해 코드 매핑 함수 φ(s)를 학습하고, 빠른 검색을 위해 해시 테이블로 저장한다.
• 매개변수 수를 O(Nd)에서 O((K/log K)d′log N + C)로 감소시켜 어휘 크기에 대해 로그 스케일의 스케일링을 달성한다.
• 학습 안정성 향상과 수렴성 향상을 위해 온도 냉각(temperature annealing)을 적용한다.

실험 결과

연구 질문

• RQ1 K-way D차원 코드를 가진 이산 코드 체계가 임베딩 레이어의 매개변수 수를 현저히 줄일 수 있을까? 성능은 유지되는가?
• RQ2 K와 D의 선택이 학습된 임베딩 품질과 코드 의미론에 어떤 영향을 미치는가?
• RQ3 이산 최적화의 미분 가능 이완 기법이 데이터로부터 의미적으로 일관되고 의미적으로 유의미한 코드를 효과적으로 학습할 수 있는가?
• RQ4 KD 인코딩이 자원이 제한된 또는 긴 꼬리 분포를 가진 어휘 환경에서 과적합을 완화하는가?
• RQ5 이완 최적화 과정에서의 온도 스케줄링이 코드의 안정성과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 제안된 KD 인코딩은 언어 모델링 작업에서 표준 one-hot 인코딩과 유사하거나 더 높은 성능을 유지하면서도 임베딩 매개변수를 97% 감소시켰다.
• K=6, D=4일 경우, 모델은 의미적으로 유사한 단어들을 그룹화하는 이산 코드를 학습한다. 예를 들어 'week'와 'month'와 같은 시간 관련 단어들은 유사한 코드를 할당받는다.
• 실험 결과, K나 D의 값이 작을 경우, 심지어 K^D ≫ N이더라도 성능 저하가 발생함을 확인했으며, 이는 코드의 중복성(레이어링)이 학습에 기여함을 시사한다.
• 이완 최적화 과정에서의 온도 스케줄링은 고정된 온도나 연속적 코드 근사치보다 더 나은 수렴성과 더 안정적인 코드 할당을 이끌어냈다.
• 이 방법은 높은 코드 공간 활용도를 달성한다. N=10,000, K=2, D=100일 경우, 코드 공간은 one-hot 인코딩 대비 2^9900배 더 효율적이다.
• 학습된 코드 매핑 함수 φ(s)는 의미 유사성을 효과적으로 포착한다. 합성 및 실제 GloVe 임베딩에 대한 클러스터링 결과를 통해 이를 입증했다.