[논문 리뷰] Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers

Liwei Wu, Shuqing Li외 2명|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 확률적 공유 임베딩(Stochastic Shared Embeddings, SSE)을 제안하며, 이는 확률적으로 SGD 훈련 중에 공유 임베딩 간을 전환하는 데이터 기반 정규화 방법이다. 특히 가중치 감쇠와 드롭아웃과 함께 사용할 경우, 추천 시스템부터 BERT에 이르기까지 다양한 작업에서 과적합을 줄이며 일반화 성능을 향상시킨다. 이는 이론적 보장과 6개의 벤치마크에서의 실증적 검증을 통해 입증된다.

ABSTRACT

In deep neural nets, lower level embedding layers account for a large portion of the total number of parameters. Tikhonov regularization, graph-based regularization, and hard parameter sharing are approaches that introduce explicit biases into training in a hope to reduce statistical complexity. Alternatively, we propose stochastically shared embeddings (SSE), a data-driven approach to regularizing embedding layers, which stochastically transitions between embeddings during stochastic gradient descent (SGD). Because SSE integrates seamlessly with existing SGD algorithms, it can be used with only minor modifications when training large scale neural networks. We develop two versions of SSE: SSE-Graph using knowledge graphs of embeddings; SSE-SE using no prior information. We provide theoretical guarantees for our method and show its empirical effectiveness on 6 distinct tasks, from simple neural networks with one hidden layer in recommender systems, to the transformer and BERT in natural languages. We find that when used along with widely-used regularization methods such as weight decay and dropout, our proposed SSE can further reduce overfitting, which often leads to more favorable generalization results.

연구 동기 및 목표

• 매우 많은 파라미터를 가진 큰 임베딩 레이어로 인해 발생하는 높은 통계적 복잡도와 과적합 위험을 해결하기 위해.
• 강한 인도적 편향이나 사전 구조적 가정에 의존하지 않고 모델 복잡도를 줄이는 정규화 방법을 개발하기 위해.
• 기본적인 SGD 훈련과 기존의 정규화 기법(예: 가중치 감쇠, 드롭아웃)과 원활하게 통합될 수 있는 방법을 만들기 위해.
• 다양한 아키텍처와 작업(예: 트랜스포머 및 BERT 포함)에서 SSE의 효과성을 실증적으로 검증하기 위해.

제안 방법

• SSE는 SGD 훈련 중에 각 임베딩 벡터가 서로 다른 입력 토큰 또는 카테고리 간에 동적으로 공유되는 방식으로, 공유 임베딩 간의 확률적 전환을 도입한다.
• SSE-Graph는 외부 지식 그래프를 활용하여 임베딩 간의 의미적 또는 구조적 관계를 반영함으로써 확률적 공유 과정을 안내한다.
• SSE-SE는 사전 지식 없이도 데이터에서 직접 학습하여 확률적 스위칭 메커니즘을 통해 공유 표현을 학습한다.
• 이 방법은 기본적인 SGD와 호환되도록 설계되어 있으며, 아키텍처나 훈련 파이프라인에 대한 최소한의 수정만 필요로 한다.
• 이론적 분석을 통해 확률적 공유가 정규화 효과를 제공하는 일반화 경계를 제시한다.
• 최적화 과정에서 동적으로 공유함으로써 효과적인 파라미터 수를 줄이면서도 모델 용량을 유지한다.

실험 결과

연구 질문

• RQ1 임베딩 레이어에서 데이터 기반의 확률적 공유 메커니즘이 딥 뉴럴 네트워크에서 과적합을 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ2 가중치 감쇠와 드롭아웃과 같은 전통적 정규화 방법과 함께 사용했을 때 SSE는 어떻게 비교되는가?
• RQ3 지식 그래프를 활용한 SSE-Graph는 단지 데이터 기반 공유에 의존하는 SSE-SE보다 성능 향상이 이루어지는가?
• RQ4 SSE는 피드포워드 네트워크, 트랜스포머, BERT를 포함한 다양한 아키텍처에서 일반화 성능을 얼마나 향상시키는가?

주요 결과

• SSE는 가중치 감쇠와 드롭아웃과 같은 표준 정규화 기법과 함께 사용할 경우 과적합을 줄이고 일반화 성능을 향상시킨다.
• 단순한 1층 히든 네트워크에서부터 BERT와 같은 복잡한 모델에 이르기까지 6개의 서로 다른 작업에서 유리한 일반화 성능을 달성한다.
• 외부 의미적 관계가 존재하는 작업에서 지식 그래프를 활용한 SSE-Graph는 데이터 기반 공유에 의존하는 SSE-SE보다 성능 향상이 뚜렷하다.
• 이론적 분석을 통해 SSE는 임베딩 레이어의 효과적 통계적 복잡도를 감소시킴으로써 일반화 보장을 제공함을 확인했다.
• SSE는 기본적인 SGD와 원활하게 통합되며, 기존 훈련 파이프라인에 대한 수정이 최소한이다.
• 실증 결과는 테스트 성능 향상이 일관되게 관찰되었음을 보여주며, 이는 확률적 공유가 임베딩 레이어를 효과적으로 정규화함을 시사한다.