[논문 리뷰] Neural Random Projections for Language Modelling

Davide Nunes, Luís Antunes|arXiv (Cornell University)|2018. 07. 02.

Topic Modeling참고 문헌 41인용 수 3

한 줄 요약

이 논문은 신경망 언어 모델에서 희귀어 또는 미등장어를 고정된 희소 랜덤 프로젝션을 사용해 인코딩하는 방식인 신경 랜덤 프로젝션(Neural Random Projections, NRP)을 제안한다. 이는 모델 파라미터를 크게 줄이며, 전체 임베딩 기반 모델과 유사한 퍼플렉서티 점수를 달성한다. 이 방법은 거의 직교적인 벡터 성질을 통해 의미 유사성을 유지하는 압축된 분포 표현을 생성함으로써, 최소한의 학습 파라미터로도 효과적인 일반화를 가능하게 한다.

ABSTRACT

Neural network-based language models deal with data sparsity problems by mapping the large discrete space of words into a smaller continuous space of real-valued vectors. By learning distributed vector representations for words, each training sample informs the neural network model about a combinatorial number of other patterns. In this paper, we exploit the sparsity in natural language even further by encoding each unique input word using a fixed sparse random representation. These sparse codes are then projected onto a smaller embedding space which allows for the encoding of word occurrences from a possibly unknown vocabulary, along with the creation of more compact language models using a reduced number of parameters. We investigate the properties of our encoding mechanism empirically, by evaluating its performance on the widely used Penn Treebank corpus. We show that guaranteeing approximately equidistant (nearly orthogonal) vector representations for unique discrete inputs is enough to provide the neural network model with enough information to learn --and make use-- of distributed representations for these inputs.

연구 동기 및 목표

• 기존의 단어 임베딩을 대체함으로써 신경 언어 모델의 데이터 희소성과 파라미터 비효율 문제를 해결하고자 한다.
• 고정된 희소 랜덤 코드가 이산적인 단어 입력을 효과적으로 인코딩하고 분포 표현을 학습하는 데 기여할 수 있는지 조사하고자 한다.
• 랜덤 프로젝션을 통해 더 적은 파라미터를 가진 언어 모델을 구축할 수 있으며, 표준 벤치마크에서 경쟁 가능한 퍼플렉서티를 유지할 수 있음을 보여주고자 한다.
• 다양한 랜덤 프로젝션 차원과 모델 아키텍처에서 이 방법의 강건성과 확장성을 평가하고자 한다.

제안 방법

• 각 고유한 단어는 고정된 차원 k의 희소 랜덤 이진 벡터(랜덤 인덱스)로 인코딩되며, 학습되지 않은 입력 표현으로 기능한다.
• 이러한 희소 랜덤 코드들은 학습 가능한 선형 변환을 통해 낮은 차원의 연속 공간으로 투영되어 압축된 단어 임베딩을 형성한다.
• 모델은 컨텍스트 표현에서 다음 단어 확률을 예측하기 위해 ReLU 활성화 함수와 드롭아웃 Regularization을 사용한 피드포워드 신경망을 사용한다.
• 출력층은 투영된 단어 표현에 대해 소프트맥스를 적용하여 어휘 전체에 대한 다중 분포를 계산하며, 효율적인 훈련을 위해 에너지 기반 모델링 원리를 적용한다.
• 출력층의 계산 비용을 줄이기 위해 노이즈 대비 추정(Noise Contrastive Estimation, NCE)을 사용하여 방법을 평가한다.
• 임베딩 크기, 드롭아웃 비율, 랜덤 인덱스 차원 k와 같은 하이퍼파rameter는 성능 최적화를 위해 그리드 서치를 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 고정된 희소 랜덤 프로젝션은 신경 언어 모델에서 학습된 단어 임베딩의 효과적인 대체 수 Mitt이 될 수 있는가?
• RQ2 랜덤 프로젝션의 차원(k)이 모델 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 거의 직교적인 벡터 표현을 통해 랜덤 프로젝션은 얼마나 잘 단어 간 의미 유사성을 유지할 수 있는가?
• RQ4 명시적인 어휘 확장이나 재학습 없이도 모델이 희귀어나 드문 n-그램에 대해 일반화할 수 있는가?
• RQ5 퍼플렉서티와 파라미터 수 측면에서 NRP 모델의 성능은 표준 신경 언어 모델과 비교해 어떻게 되는가?

주요 결과

• NRP 모델은 훈련 퍼플렉서티가 전체 임베딩 기반 베이스라인과 유사하며, 훨씬 적은 학습 가능한 파라미터를 사용한다.
• 랜덤 인덱스 차원 k가 증가할수록 퍼플렉서티가 기하급수적으로 감소하며, 낮은 k 값에서도 기준 성능에 수렴하는 경향을 보인다.
• 랜덤 프로젝션 메커니즘이 암묵적인 스무딩을 제공함으로써 희귀어 및 미등장어에 대한 일반화 능력이 뛰어나다.
• 이 방법은 하이퍼파rameter와 모델 크기에 민감하며, 최적의 성능을 내기 위해 신중한 튜닝이 필요하다.
• 이 접근법은 노이즈 대비 추정(NCE)과 같은 근사 기법과 호환되어 대규모 어휘에서의 확장 가능한 훈련을 가능하게 한다.
• ReLU 활성화 함수, 드롭아웃, 그리고 단순한 피드포워드 아키텍처의 사용은 훈련 속도와 성능 향상을 이끌어내어 기준 모델이 최신 기술 수준의 접근법과 경쟁할 수 있도록 한다.