[논문 리뷰] DeFINE: Deep Factorized Input Word Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski외 2명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 43인용 수 13

한 줄 요약

DeFINE는 깊이 있는 인코딩을 통해 입력 및 출력 레이어의 파라미터 수와 학습 시간을 줄이는 딥 인코딩 단어 임베딩 방법을 제안한다. 이는 스킵 커넥션을 갖춘 계층적 아키텍처를 사용하여 저차원 입력 및 출력 레이어를 가능하게 하며, 최신 기법 대비 6–20% 낮은 퍼플렉서티를 달성하고, 성능 저하를 최소화하면서 최대 50%까지 파라미터를 감소시킨다. 이는 Transformer-XL 및 AWD-LSTM과 같은 모델을 향상시킨다.

ABSTRACT

For sequence models with large word-level vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep word-level representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves a Transformer model by 2% while simultaneously reducing total parameters by 26%

연구 동기 및 목표

• 대규모 어휘를 가진 시퀀스 모델의 입력 및 출력 레이어에서 발생하는 큰 파라미터 수를 줄이기 위해.
• 모델 성능을 희생시키지 않고 학습 효율성을 향상시키기 위해.
• 기존 및 신규 시퀀스 모델에 효율적으로 통합될 수 있도록 하기 위해.
• 저차원의 인코딩 표현을 통해 더 적은 파라미터로 최신 기술 수준의 성능을 달성하기 위해.
• 스킵 커넥션을 활용한 계층적 인코딩을 통해 더 깊고 효율적인 단어 임베딩 학습을 가능하게 하기 위해.

제안 방법

• DeFINE는 입력 및 출력 레이어의 단어 임베딩을 저차원 구성요소로 분해함으로써 파라미터 수를 줄이는 계층적 아키텍처를 사용한다.
• 그러나 그 기법은 레이어 간에 새로운 스킵 커넥션을 도입하여 기울기 흐름을 유지하고 학습 안정성을 향상시킨다.
• 이 방법은 입력 및 출력 레이어에 깊이 있고 인코딩된 구조를 사용하며, 표준 임베딩 행렬 대신 공유된 저랭크 구성요소를 도입한다.
• 이 아키텍처는 효율적인 파라미터 공유를 가능하게 하여 네트워크의 총 파라미터 수를 감소시킨다.
• DeFINE는 기존 모델(예: AWD-LSTM 및 Transformer-XL)과 호환되는 플러그 앤 플레이 방식으로 설계되어 있다.
• 표준 학습 절차를 사용하지만, 파라미터 공간이 줄어들고 최적화 다이내믹스가 향상되어 이점이 있다.

실험 결과

연구 질문

• RQ1 계층적이고 인코딩된 임베딩 아키텍처는 성능 저하 없이 모델 파라미터를 줄일 수 있는가?
• RQ2 퍼플렉서티 및 파라미터 효율성 측면에서 DeFINE는 적응형 입력 기법과 어떻게 비교되는가?
• RQ3 DeFINE는 Transformer-XL 및 AWD-LSTM에서 학습 시간과 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 DeFINE는 모델 크기를 줄이면서도 기계 번역 작업에서 성능을 향상시킬 수 있는가?
• RQ5 인코딩된 아키텍처에서 스킵 커넥션은 학습 안정성과 수렴을 향상시키는가?

주요 결과

• WikiText-103에서 DeFINE는 Transformer-XL의 총 파라미터 수를 50% 감소시키며 성능 영향을 최소화한다.
• Penn Treebank에서 DeFINE는 AWD-LSTM의 성능을 4퍼센트포인트 향상시키며 파라미터를 17% 감소시킨다.
• DeFINE는 최신 기법과 유사한 성능을 달성하지만 더 적은 파라미터를 사용하여 파라미터 효율성을 입증한다.
• 기계 번역에서 DeFINE는 트랜스포머 모델의 성능을 2 BLEU 포인트 향상시키며 총 파라미터 수를 26% 감소시킨다.
• 다양한 벤치마크에서 DeFINE는 최신 기법 대비 6–20%의 상대적 퍼플렉서티 감소를 달성한다.
• DeFINE는 언어 모델링 및 기계 번역을 포함한 다양한 시퀀스 모델링 작업에서 강력한 성능을 유지한다.