[논문 리뷰] Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation

Xiang Kong, Qizhe Xie외 2명|arXiv (Cornell University)|2018. 09. 25.

Topic Modeling참고 문헌 37인용 수 3

한 줄 요약

이 논문은 순서 생성에서 Mixture of Softmaxes(MoS)의 메모리 및 계산 비용을 줄이기 위해 Byte Pair Encoding(BPE)와 Hybrid-LightRNN를 효율적인 어휘 인코딩 체계로 제안한다. 성능 저하 없이 시간과 메모리 사용량을 절반으로 줄여 MoS에 BPE 또는 Hybrid-LightRNN를 적용함으로써 최신 기술 수준의 성능을 달성하였으며, WMT 2014 영어-독어 번역에서 29.6 BLEU 점수와 이미지 캡션 생성에서 0.76 CIDEr 향상률을 기록하였다.

ABSTRACT

Mixture of Softmaxes (MoS) has been shown to be effective at addressing the expressiveness limitation of Softmax-based models. Despite the known advantage, MoS is practically sealed by its large consumption of memory and computational time due to the need of computing multiple Softmaxes. In this work, we set out to unleash the power of MoS in practical applications by investigating improved word coding schemes, which could effectively reduce the vocabulary size and hence relieve the memory and computation burden. We show both BPE and our proposed Hybrid-LightRNN lead to improved encoding mechanisms that can halve the time and memory consumption of MoS without performance losses. With MoS, we achieve an improvement of 1.5 BLEU scores on IWSLT 2014 German-to-English corpus and an improvement of 0.76 CIDEr score on image captioning. Moreover, on the larger WMT 2014 machine translation dataset, our MoS-boosted Transformer yields 29.5 BLEU score for English-to-German and 42.1 BLEU score for English-to-French, outperforming the single-Softmax Transformer by 0.8 and 0.4 BLEU scores respectively and achieving the state-of-the-art result on WMT 2014 English-to-German task.

연구 동기 및 목표

• 모델 표현력이 향상됨에도 불구하고 실용적 사용에 제한을 받는 Mixture of Softmaxes(MoS)의 높은 메모리 및 계산 비용을 해결한다.
• 다양한 Softmax 구성 요소의 계산 부담을 줄이기 위해 효율적인 인코딩 체계를 통해 어휘 크기를 줄인다.
• 기계 번역 및 이미지 캡션 생성과 같은 대규모 언어 생성 작업에 대해 MoS의 효율성과 확장성을 향상시킨다.
• BPE 또는 Hybrid-LightRNN를 사용한 MoS가 추론 비용을 유지하거나 감소시키면서도 최신 기술 수준의 성능을 달성할 수 있음을 입증한다.
• 학습된 인코딩 체계인 Hybrid-LightRNN가 BPE와 같은 히우리스틱 방법보다 더 나은 성능을 보이며, 어휘 외 단어(OOV) 처리 및 의미적 구조 포착 능력을 갖는지 조사한다.

제안 방법

• 단어를 서브워드 단위로 인코딩하기 위해 Byte Pair Encoding(BPE)를 적용하여 어휘 크기를 줄이고, 단어를 서브워드 단위의 시퀀스로 표현함으로써 Softmax 계산을 더 효율적으로 만든다.
• 언어 모델링 목표를 사용하여 어휘에 대한 테이블 기반 코드북을 학습하는 가용성 있는 인코딩 메커니즘인 Hybrid-LightRNN을 도입한다. 이는 의미적 또는 문법적으로 유사한 단어들을 공유하는 행 또는 열에 그룹화한다.
• 학습된 코드북을 사용하여 각 단어를 코드 토큰의 시퀀스로 표현하고, Softmax 계산을 코드 시퀀스에 대한 조건부 분포의 곱으로 변환한다.
• 코드 시퀀스 위에 여러 개의 Softmax 구성 요소를 적용한 MoS를 사용함으로써 어휘 크기를 유지한 채로 더 높은 랭크의 확률 행렬과 향상된 표현력을 달성한다.
• 백프로파게이션을 통해 인코딩 테이블을 종단 간 최적화함으로써 데이터 기반의 의미 있는 코드 할당을 학습할 수 있도록 한다.
• Transformer 기반 모델에 이러한 인코딩 체계를 통합하여 현대적인 순서-순서 아키텍처에서 MoS를 효율적으로 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 BPE와 Hybrid-LightRNN는 성능 저하 없이 MoS의 메모리 및 계산 비용을 크게 줄일 수 있는가?
• RQ2 BPE와 같은 히우리스틱 방법보다 학습된 인코딩 체계인 Hybrid-LightRNN이 단어 표현의 의미적 및 문법적 구조를 더 잘 포착하는가?
• RQ3 OOV(어휘 외 단어) 생성 능력이 BPE-MoS가 Hybrid-LightRNN-MoS를 능가하는 데 기여하는 정도는 어느 정도인가?
• RQ4 MoS 구성 요소의 수를 늘릴수록 성능에 어떤 영향을 미치며, 수익 감소 현상이 나타나는가?
• RQ5 Hybrid-LightRNN의 학습된 코드북이 의미적 또는 문법적으로 유사한 단어들을 같은 행 또는 열에 그룹화할 수 있는가? 이는 의미 있는 구조 학습을 의미하는가?

주요 결과

• IWSLT 2014 독어-영어 번역 작업에서 BPE와 Hybrid-LightRNN 각각이 MoS의 시간과 메모리 소비를 약 50% 감소시켰으며, 성능 저하 없이 수행되었다.
• WMT 2014 영어-독어 번역 벤치마크에서 BPE 또는 Hybrid-LightRNN를 사용한 MoS는 BLEU 점수 29.6을 기록하여 새로운 최고 기록을 수립하였다.
• BPE를 사용한 MoS는 IWSLT 2014 독어-영어 번역에서 기준 모델 대비 1.5 BLEU 포인트 향상되었고, 이미지 캡션 생성에서는 0.76 CIDEr 포인트 향상되었다.
• MoS 구성 요소의 수를 늘릴수록 성능 향상이 이루어지지만, 수익 감소 현상이 나타나, 중간 정도의 혼합 수(예: 3~5개)로도 높은 표현력을 확보할 수 있음을 시사한다.
• Hybrid-LightRNN는 무작위 및 빈도 기반 코드북 초기화보다 각각 2.68 및 1.55 BLEU 포인트 높은 성능을 보이며, 인코딩 테이블의 종단 간 학습의 가치를 확인한다.
• OOV 생성을 비활성화한 상태에서도 BPE-MoS는 Hybrid-LightRNN-MoS보다 0.07 BLEU 높은 성능을 기록하여, BPE의 학습된 서브워드 인코딩이 Hybrid-LightRNN의 학습된 테이블보다 데이터 통계를 더 효과적으로 포착함을 시사한다.