[논문 리뷰] Entity Embeddings of Categorical Variables

Cheng Guo, Felix Berkhahn|arXiv (Cornell University)|2016. 04. 22.

Bayesian Modeling and Causal Inference참고 문헌 36인용 수 304

한 줄 요약

이 논문은 범주형 특징에 대한 엔티티 임베딩을 도입하여 신경망 내에서 저차원 임베딩을 학습해 구조화된 데이터에서 함수 근사성을 개선하고 원-핫 인코딩보다 성능이 향상되며 카테고리의 시각화 및 군집화를 돕는다.

ABSTRACT

We map categorical variables in a function approximation problem into Euclidean spaces, which are the entity embeddings of the categorical variables. The mapping is learned by a neural network during the standard supervised training process. Entity embedding not only reduces memory usage and speeds up neural networks compared with one-hot encoding, but more importantly by mapping similar values close to each other in the embedding space it reveals the intrinsic properties of the categorical variables. We applied it successfully in a recent Kaggle competition and were able to reach the third position with relative simple features. We further demonstrate in this paper that entity embedding helps the neural network to generalize better when the data is sparse and statistics is unknown. Thus it is especially useful for datasets with lots of high cardinality features, where other methods tend to overfit. We also demonstrate that the embeddings obtained from the trained neural network boost the performance of all tested machine learning methods considerably when used as the input features instead. As entity embedding defines a distance measure for categorical variables it can be used for visualizing categorical data and for data clustering.

연구 동기 및 목표

• 신경망이 naive 인코딩을 사용할 때 고카디널리티 범주형 특징으로 어려움을 겪는 이유를 동기화하고 시연한다.
• 범주형 변수에 대한 학습된 밀집 표현으로서 엔티티 임베딩을 제안하고 형식화한다.
• 임베딩이 희소 데이터에서 일반화와 다양한 학습자 성능 향상을 어떻게 돕는지 입증한다.
• 임베딩의 시각화 및 클러스터링 능력을 통해 범주형 데이터를 이해하는 데 기여한다.

제안 방법

• 각 카테고리 값을 신경망 학습과 함께 학습되는 임베딩 벡터로 매핑한다.
• 임베딩 층을 원-핫 입력에 대한 선형 변환으로 간주하며, 임베딩은 층 가중치에 해당한다.
• 연속 입력과 모든 임베딩을 결합하고 역전파를 통해 엔드 투 엔드로 학습한다.
• 실제 데이터셋(로스만 매장 매출)에서 원-핫 인코딩을 사용하는 네트워크와 엔티티 임베딩을 사용하는 네트워크를 비교한다.
• 결과의 안정화를 위해 10 에폭과 Adam 최적화 및 앙상블 예측을 사용한다.
• 임베딩이 신경망뿐만 아니라 피처로 임베딩을 사용할 때 다른 모델의 성능도 향상시킴을 입증한다.

실험 결과

연구 질문

• RQ1 엔티티 임베딩이 범주 변수 간의 유사성을 반영하는 의미 있고 간결한 표현을 학습할 수 있는가?
• RQ2 임베딩이 원-핫 인코딩에 비해 고카디널리티 범주형 특징에 대한 예측 성능과 일반화를 향상시키는가?
• RQ3 임베딩이 범주형 데이터의 시각화와 클러스터링을 촉진할 수 있는가?
• RQ4 신경망을 위해 학습된 임베딩이 입력 피처로 사용될 때 다른 ML 방법의 성능 향상으로 전이될 수 있는가?

주요 결과

• 엔티티 임베딩은 원-핫 인코딩에 비해 메모리 효율성과 속도를 개선한다.
• 함수적으로 유사한 임베딩된 범주들은 임베딩 공간에서 더 가깝게 위치하는 경향이 있다.
• 임베딩은 희소 데이터 및 고카디널리티 특징에서 일반화를 개선하고 다른 방법들이 과적합하는 경우에도 성능을 높인다.
• 신경망에 대해 학습된 임베딩은 KNN, 랜덤 포레스트, 그레이디언트 부스팅 트리의 입력으로 사용할 때 성능을 크게 향상시킨다.
• 임베딩의 시각화(예: t-SNE)는 주(state) 간 지리적 클러스터링 및 매장 임베딩에 따른 매출의 연속적 변동성과 같은 의미 있는 구조를 드러낸다.