[논문 리뷰] Deep Hash Embedding for Large-Vocab Categorical Feature Representations.

Wang-Cheng Kang, Derek Zhiyuan Cheng외 5명|arXiv (Cornell University)|2020. 10. 21.

Caching and Content Delivery참고 문헌 50인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 사용해 결정론적이고 비일항화된 해시 인코딩을 통해 실시간으로 임베딩을 생성하는 충돌 없고 저장 비용이 없는 프레임워크인 딥 해시 임베딩(DHE)을 제안한다. DHE는 대용량 어휘를 가진 분류 특성에서 최신 기술 성능을 달성하며, 모델 크기가 크게 작아지고 일항화 인코딩과 유사한 AUC 성능을 유지한다.

ABSTRACT

Embedding learning for large-vocabulary categorical features (e.g. user/item IDs, and words) is crucial for deep learning, and especially neural models for recommendation systems and natural language understanding tasks. Typically, the model creates a huge embedding table that each row represents a dedicated embedding vector for every feature value. In practice, to handle new (i.e., out-of-vocab) feature values and reduce the storage cost, the hashing trick is often adopted, that randomly maps feature values to a smaller number of hashing buckets. Essentially, thess embedding methods can be viewed as 1-layer wide neural networks with one-hot encodings. In this paper, we propose an alternative embedding framework Deep Hash Embedding (DHE), with non-one-hot encodings and a deep neural network (embedding network) to compute embeddings on the fly without having to store them. DHE first encodes the feature value to a dense vector with multiple hashing functions and then applies a DNN to generate the embedding. DHE is collision-free as the dense hashing encodings are unique identifiers for both in-vocab and out-of-vocab feature values. The encoding module is deterministic, non-learnable, and free of storage, while the embedding network is updated during the training time to memorize embedding information. Empirical results show that DHE outperforms state-of-the-art hashing-based embedding learning algorithms, and achieves comparable AUC against the standard one-hot encoding, with significantly smaller model sizes. Our work sheds light on design of DNN-based alternative embedding schemes for categorical features without using embedding table lookup.

연구 동기 및 목표

• 대용량 어휘를 가진 분류 특성의 전통적인 임베딩 테이블에서 높은 저장 비용과 OOV(어휘 외 단어) 문제를 해결하기 위해.
• 큰 임베딩 테이블을 저장할 필요 없이도 높은 모델 성능을 유지하기 위해.
• 딥 러닝과 해시를 사용하여 룩업 테이블 없이 동적으로 임베딩을 생성하는 프레임워크를 설계하기 위해.
• 임베딩 테이블을 사전에 계산하지 않고도 일항화 인코딩과 유사한 성능을 달성하면서 모델 크기를 크게 줄이기 위해.

제안 방법

• DHE는 다수의 해시 함수를 사용해 특성 값을 고유한 밀집 벡터로 인코딩하여 비일항화된 식별자로 사용한다.
• 이 밀집 해시 인코딩은 학습 중에 최종 임베딩을 생성하도록 학습하는 딥 네트워크(임베딩 네트워크)로 입력된다.
• 인코딩 모듈은 결정론적이며 학습 불가능하여, 어휘 내 및 어휘 외 값 모두에 대해 충돌 없는 표현을 보장한다.
• 임베딩 네트워크는 해시 인코딩 입력 기반으로 정확한 임베딩을 기억하고 생성하도록 엔드 투 엔드로 학습된다.
• 임베딩 테이블 저장을 피하기 위해 임베딩을 실시간으로 계산함으로써 메모리 사용량을 줄인다.
• 기존의 딥 러닝 모델, 특히 추천 및 NLP 시스템과의 호환성을 고려해 설계되었다.

실험 결과

연구 질문

• RQ1 해시 기반 프레임워크는 큰 임베딩 테이블을 저장하지 않으면서도 성능을 유지할 수 있는가?
• RQ2 결정론적 해시 인코딩을 기반으로 학습된 딥 네트워크는 표준 일항화 또는 해시 기반 기준 대비 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 성능 저하 없이 어휘 외 특성 값을 효과적으로 처리할 수 있는가?
• RQ4 이 방법을 사용하면 예측 성능을 희생시키지 않고 모델 크기를 어느 정도 줄일 수 있는가?

주요 결과

• DHE는 저장 비용이 없는 점을 감안할 때 표준 일항화 인코딩과 유사한 AUC 성능을 달성하여 강력한 표현 품질을 입증한다.
• DHE는 전통적인 임베딩 테이블과 해시 기반 기준 대비 모델 크기를 크게 줄였다.
• 프레임워크는 충돌이 없어 모든 특성 값, 어휘 외 값까지도 고유한 표현을 보장한다.
• 실험 결과 DHE는 벤치마크 작업에서 최신 기술 해시 기반 임베딩 학습 알고리즘보다 뛰어난 성능을 보였다.
• 결정론적이고 학습 불가능한 인코딩 모듈은 룩업 오버헤드 없이 효율적이고 확장 가능한 임베딩 생성을 가능하게 한다.
• 임베딩 네트워크의 엔드 투 엔드 학습은 사전 계산된 테이블 없이도 효과적인 임베딩 정보 기억을 가능하게 한다.