[논문 리뷰] DeFINE: DEep Factorized INput Token Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski외 2명|arXiv (Cornell University)|2019. 11. 27.

Topic Modeling참고 문헌 45인용 수 13

한 줄 요약

DeFINE는 새로운 스킵 연결 HGT(Hierarchical Group Transformation) 아키텍처를 통해 저차원 토큰 표현을 학습함으로써 신경 시퀀스 모델의 파rameter를 줄이는 깊이 있고 계층적인 인코딩 방법을 도입한다. 이는 AWD-LSTM 및 Transformer-XL과 같은 기존 방법보다 6–20% 낮은 퍼플렉서티와 최대 50% 적은 파라미터로 최신 기술 수준의 성능을 달성하면서 추론 속도를 유지한다.

ABSTRACT

For sequence models with large vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep token representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces the total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves the efficiency of the Transformer model by about 1.4 times while delivering similar performance.

연구 동기 및 목표

• 대규모 어휘집을 가진 시퀀스 모델의 입력 및 출력 레이어에서 높은 파라미터 수를 줄이기 위해.
• 압축된 깊이 있는 토큰 표현을 학습함으로써 성능을 훼손하지 않으면서 효율성을 향상시키기 위해.
• 기존의 모델들인 트랜스포머와 LSTMs에 쉽게 통합할 수 있도록 플러그 앤 플레이 방식을 제공하기 위해.
• 깊이, 너비, 스킵 커넥션과 같은 아키텍처 선택 사항이 표현 학습에 미치는 영향을 탐색하기 위해.
• 언어 모델링 및 기계 번역을 포함한 단어 수준과 서브워드 수준의 작업 전반에서 효과성을 입증하기 위해.

제안 방법

• DeFINE는 표준 임베딩 레이어를 계층적 그룹 변환(HGT)으로 대체하여, 스택된 희소 연결 레이어를 통해 고차원 입력을 저차원 표현으로 매핑한다.
• 각 HGT 레이어를 입력에 직접 연결하는 새로운 스킵 커넥션 메커니즘을 도입하여 다중 경로 기울기 전파를 가능하게 하고 학습 안정성을 향상시킨다.
• 그룹 간 특징을 조합하기 위한 믹싱 레이어를 사용하여 표현 능력을 향상시키면서도 파라미터 증가를 최소화한다.
• 고차원 입력을 저차원 공간으로 투영한 후 문맥 모델링을 수행하는 MER(Mapping-Embedding-Representation) 전략을 활용하여 계산 부담을 줄인다.
• 핵심 모델을 수정하지 않고 입력 및 출력 임베딩 레이어만 교체함으로써 플러그 앤 플레이 아키텍처를 설계하였다.
• 단어 및 서브워드를 포함한 다양한 토큰 유형을 지원하며, 캐시된 임베딩을 통해 추론 속도를 유지한다.

실험 결과

연구 질문

• RQ1 깊이 있고 계층적인 입력 임베딩의 인코딩 분해 방식이 시퀀스 모델링에서 성능 저하 없이 모델 파라미터를 줄일 수 있는가?
• RQ2 계층적 아키텍처 내부의 스킵 커넥션이 표현 품질과 학습 효율성에 미치는 영향는 어떠한가?
• RQ3 언어 모델링 및 기계 번역과 같은 대규모 어휘집 작업에서 DeFINE는 얼마나 향상된 성능을 낼 수 있는가?
• RQ4 깊이(N)와 너비(k)와 같은 아키텍처 하이퍼파라미터가 모델 성능 및 파라미터 효율성에 미치는 영향는 어떠한가?
• RQ5 기존의 기술인 적응형 입력 및 출력 표현과 결합했을 때 DeFINE는 효율성과 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• WikiText-103에서 DeFINE는 Transformer-XL의 총 파라미터를 50% 줄였고 성능 저하를 최소화하여 원본 모델의 테스트 퍼플렉서티 41.17 대비 40.92를 달성했다.
• Penn Treebank에서 DeFINE는 AWD-LSTM의 파라미터를 17% 감소시키면서도 4퍼센트 향상된 퍼플렉서티 54.2를 기록하여 원본 및 최적화된 AWD-LSTM 모델을 모두 뛰어넘었다.
• 적응형 입력 및 출력 방법과 결합했을 때, DeFINE는 LSTM-기반 및 Transformer-XL 기반 모델에서 성능을 3점 향상시켰고 파라미터 증가율은 최소 수준을 유지했다.
• 기계 번역 작업에서는 DeFINE가 트랜스포머 모델의 효율성을 26% 향상시켰으며(약 1.4배의 속도 향상), 번역 품질은 유지했다.
• DeFINE의 스킵 커넥션 메커니즘은 이를 포함하지 않은 베이스라인 대비 2.9점의 퍼플렉서티 향상을 이끌어내어 표현 학습에서의 효과성을 입증했다.
• 깊이(N)를 늘릴수록 성능 향상이 있었지만, 깊이 없이 너비(k)만 늘릴 경우 중복이 발생하고 추가적인 이점이 없었으며, 이는 최적의 설계가 너비보다 깊이를 우선시해야 함을 시사한다.