[논문 리뷰] Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies

Paul Pu Liang, Manzil Zaheer외 2명|arXiv (Cornell University)|2020. 03. 18.

Topic Modeling참고 문헌 78인용 수 4

한 줄 요약

이 논문은 대규모 어휘에서의 희박한 임베딩을 학습하기 위해 각 이산 객체를 소수의 학습 가능한 앵커 벡터의 희박한 선형 조합으로 표현하고, 각기 다른 가중치 행렬을 사용하는 ANCHOR & TRANSFORM (ANT)를 제안한다. 이 방법은 미분 가능하고 엔드 투 엔드로 훈련 가능한 방법이다. ANT는 텍스트 분류, 언어 모델링, 추천 작업에서 기존의 기준보다 더 나은 성능을 기록하면서도 최대 40배의 파라미터 압축을 달성한다. 베이지안 확장인 NBANT는 초파rameter 조정 없이도 앵커 수를 자동으로 조정한다.

ABSTRACT

Learning continuous representations of discrete objects such as text, users, movies, and URLs lies at the heart of many applications including language and user modeling. When using discrete objects as input to neural networks, we often ignore the underlying structures (e.g., natural groupings and similarities) and embed the objects independently into individual vectors. As a result, existing methods do not scale to large vocabulary sizes. In this paper, we design a simple and efficient embedding algorithm that learns a small set of anchor embeddings and a sparse transformation matrix. We call our method Anchor & Transform (ANT) as the embeddings of discrete objects are a sparse linear combination of the anchors, weighted according to the transformation matrix. ANT is scalable, flexible, and end-to-end trainable. We further provide a statistical interpretation of our algorithm as a Bayesian nonparametric prior for embeddings that encourages sparsity and leverages natural groupings among objects. By deriving an approximate inference algorithm based on Small Variance Asymptotics, we obtain a natural extension that automatically learns the optimal number of anchors instead of having to tune it as a hyperparameter. On text classification, language modeling, and movie recommendation benchmarks, we show that ANT is particularly suitable for large vocabulary sizes and demonstrates stronger performance with fewer parameters (up to 40x compression) as compared to existing compression baselines.

연구 동기 및 목표

• 대규모 어휘 설정에서 전체 임베딩 행렬의 확장성과 비효율성 문제를 해결하기 위해, 모델 크기의 최대 80%까지 차지할 수 있는 파라미터를 줄이기 위해.
• 표준 독립적인 임베딩 방법에서 忽시되는 이산 객체(예: 단어, 사용자) 간의 자연스러운 그룹화 및 유사성과 같은 잠재적 구조를 활용하기 위해.
• 다중 훈련 단계나 후처리가 필요 없이, 희박하고 상호의존적인 표현을 학습할 수 있는, 미분 가능하고 엔드 투 엔드로 훈련 가능한 방법을 개발하기 위해.
• 베이지안 비모수적 사전 분포를 통해 희박한 임베딩에 통계적 기반을 제공하고, 최적의 앵커 수를 자동으로 선택할 수 있도록 하기 위해.

제안 방법

• ANT는 각 객체의 임베딩을 소수의 학습된 앵커 벡터의 희박한 선형 조합으로 표현하며, 변환 행렬 T는 희박하고 미분 가능하다.
• 이 방법은 미분 가능한 목적 함수를 사용하여 앵커 벡터 A와 희박한 변환 행렬 T를 동시에 엔드 투 엔드로 최적화한다.
• 통계적 해석을 통해 ANT는 인디안 빵집 프로세스(IBP) 사전 분포로 해석되며, 이는 베이지안 비모수적 확장(NBANT)을 가능하게 하여 앵커 수를 자동으로 학습한다.
• 소규모 분산 점근적 분석(Small Variance Asymptotics, SVA)을 사용하여 근사 추론 알고리즘을 유도하고, NBANT의 자동 앵커 수 선택을 이끈다.
• 목적 함수는 예측 손실, T의 희박성(∥T∥0), 앵커 수 K를 하이퍼파rameter λ1과 λ2를 통해 균형 잡는다.
• NBANT는 ANT를 온라인 학습으로 확장하여, 새로운 데이터 배치가 도착함에 따라 앵커 수를 동적으로 조정함으로써 대규모 데이터셋에서 메모리 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박하고, 미분 가능하며, 엔드 투 엔드로 훈련 가능한 방법이 대규모 어휘에서 높은 품질의 임베딩을 학습하면서도 파라미터 수를 크게 줄일 수 있는가?
• RQ2 이산 객체 간의 구조적 관계(예: 그룹화, 유사성)를 독립적인 벡터 할당에 의존하지 않고 임베딩 학습에 활용할 수 있는가?
• RQ3 베이지안 비모수적 사전 분포를 딥 네URAL 네트워크와 효과적으로 통합하여 희박한 임베딩 프레임워크에서 최적의 앵커 수를 자동으로 결정할 수 있는가?
• RQ4 제안된 방법이 기존의 압축 기준보다 모델 효율성과 하류 작업의 예측 성능 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 데이터가 배치 단위로 도착하는 온라인 학습 환경에서, 앵커 수를 동적으로 조정할 수 있는가?

주요 결과

• ANT는 텍스트 분류 및 언어 모델링 벤치마크에서 전체 임베딩 행렬 및 기존의 압축 기준보다 성능을 유지하거나 향상시키면서도 최대 40배의 파라미터 압축을 달성한다.
• PTB 언어 모델링 작업에서, 200개의 앵커와 245,000개의 비제로 요소를 가진 ANT는 214,000개의 비제로 요소를 가진 전체 1,000-임베딩 기준보다 퍼플렉서티 77.7로 더 뛰어난 성능을 기록했다.
• NBANT 확장은 최적의 앵커 수를 자동으로 학습한다: MovieLens 1M에서, NBANT는 8개의 사용자 앵커와 8개의 아이템 앵커로 수렴하여 오프라인 버전의 성능을 정확히 재현했다.
• 온라인 환경에서 NBANT는 데이터 도착에 따라 앵커 수를 10개에서 26개로 증가시킨 후 8~10개로 감소시킴으로써 새로운 데이터 구조에 대한 강력한 적응 능력을 보였다.
• λ1 조정을 통해 효과적인 모델 선택이 가능했다: λ1 = 2×10⁻⁵일 경우 1,000개의 앵커를 가진 모델이 퍼플렉서티 79.4를 기록했고, λ1 = 1×10⁻¹일 경우 100개의 앵커를 가진 모델이 퍼플렉서티 106.6을 기록하여 성능-압축 간의 트레이드오프를 제어할 수 있음을 보였다.
• MovieLens 25M에서 NBANT는 목적 함수를 효율적으로 최적화했으며, 3D 시각화와 격자 탐색 비교를 통해 전역 최적해에 매우 가까운 해에 도달했다.