[논문 리뷰] On the Dimensionality of Embeddings for Sparse Features and Data

Maxim Naumov|arXiv (Cornell University)|2019. 01. 07.

Advanced Graph Neural Networks참고 문헌 25인용 수 12

한 줄 요약

이 논문은 일반적으로 통용되는 임bedding이 항상 차원을 감소시킨다는 가정에 도전하며, 대신 임베딩 차원은 히우리스틱 규칙이 아닌 정보 엔트로피에 의해 지도되어야 한다고 보여준다. 이는 엔트로피 기반 상한과 임베딩 차원 선택에 대한 정밀한 지침을 제공하며, 희소 특징이 차원 감소에 항상 유의미한 이점을 얻지 못할 수 있고, 최적의 크기는 입력 데이터의 희소성과 분포에 따라 달라진다는 것을 입증한다.

ABSTRACT

In this note we discuss a common misconception, namely that embeddings are always used to reduce the dimensionality of the item space. We show that when we measure dimensionality in terms of information entropy then the embedding of sparse probability distributions, that can be used to represent sparse features or data, may or not reduce the dimensionality of the item space. However, the embeddings do provide a different and often more meaningful representation of the items for a particular task at hand. Also, we give upper bounds and more precise guidelines for choosing the embedding dimension.

연구 동기 및 목표

• 희소 특징의 차원을 감소시킨다는 일반적인 믿음에 도전하기 위해.
• 엔트로피를 기반으로 한 원칙적이고 정보 이론적인 접근을 통해 임베딩 차원을 선택하는 데 목적이 있다.
• 실제 모델에서 임베딩 크기 선택을 위한 상한과 실용적 지침을 유도하기 위해.
• 차원 감소가 이루어지지 않더라도, 원시 인덱스보다 더 의미 있는 표현을 제공할 수 있음을 입증하기 위해.

제안 방법

• 정보 엔트로피를 차원의 척도로 사용하여 희소 특징 벡터의 정보 수용 능력을 평가한다.
• 조합적 근사법을 사용하여 다양한 룩업 서명(예: n 크기의 벡터에서 k개의 비영 요소)에 대한 엔트로피 공식을 유도한다.
• 점근적 근사(예: 스타링의 공식)를 적용하여 희소 분포의 엔트로피를 추정하고 상한을 유도한다.
• 입력 룩업의 엔트로피(H)와 임베딩의 정보 용량(d × s, 여기서 s는 요소당 비트 수)를 비교하여 필요한 임베딩 크기를 결정한다.
• 입력 희소성에 맞는 임베딩 차원의 상한을 설정하기 위해 엔트로피 기반 룕프라인 모델을 제안한다.
• 표로 정리된 예시를 통해 n(어휘 크기), k(비영 요소 수), s(비트 정밀도)의 다양한 조합에서 모델을 검증하며, 정보 등가성에 필요한 d를 보여준다.

실험 결과

연구 질문

• RQ1 임베딩은 항상 희소 특징 표현의 차원을 감소시키는가?
• RQ2 희소 입력 벡터에 담긴 정보를 유지하기 위해 필요한 최소 임베딩 차원은 무엇에 의해 결정되는가?
• RQ3 정보 엔트로피는 실무에서 임베딩 크기 선택을 어떻게 안내할 수 있는가?
• RQ4 희소성 패턴(k)과 어휘 크기(n)는 필요한 임베딩 차원에 어떤 정도의 영향을 미치는가?

주요 결과

• 정보 엔트로피로 측정할 경우, 임베딩이 항상 차원을 감소시키는 것은 아니며, 입력이 매우 구조화되어 있거나 희소한 경우 임베딩 공간의 차원이 입력보다 클 수 있다.
• n=1M, k=100인 경우, 엔트로피는 약 1324.1비트이며, 8비트 정밀도로는 최소 168차원의 임베딩이 필요하다.
• k=1000, n=100M인 경우, 엔트로피는 약 ~16,603.3비트에 도달하며, 8비트 정밀도로는 최소 2076차원의 임베딩이 필요하다.
• k(비영 요소 수)의 선택은 n(어휘 크기)보다 엔트로피에 더 큰 영향을 미친다. k에 대한 엔트로피 대비 로그 그래프에서 이를 확인할 수 있다.
• 32비트 임베딩에서 요소당 8비트 정밀도를 사용할 경우, k=1, n=1M인 경우 필요한 임베딩 차원 d는 1까지 낮아질 수 있지만, k=1000, n=1M인 경우 1248까지 증가한다.
• 미니배치 학습은 엔트로피 또는 차원 계산에 영향을 주지 않으며, 각 임베딩 룩업이 독립적으로 처리되기 때문이다.