[논문 리뷰] Deep Residual Output Layers for Neural Language Generation

Nikolaos Pappas, James Henderson|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 신경어휘생성에서 구조화된 출력 레이블 임베딩을 학습하기 위한 딥 리스크리드 출력 레이어(Deep Residual Output Layers, DRILL)를 제안한다. 스택된 비선형 레이어 간에 리스크리드 연결과 드롭아웃을 적용함으로써, 랭크나 차원 수를 늘리지 않으면서도 분류기의 표현력을 향상시켜 언어모델링 및 기계번역에서 최신 기준(SOTA) 또는 경쟁 가능한 성능을 달성한다. 특히 파라미터 수가 적은 편이지만 Transformer(base)를 초월하고 RNMT+와 동등한 성능을 내며, 이를 달성한다.

ABSTRACT

Many tasks, including language generation, benefit from learning the structure of the output space, particularly when the space of output labels is large and the data is sparse. State-of-the-art neural language models indirectly capture the output space structure in their classifier weights since they lack parameter sharing across output labels. Learning shared output label mappings helps, but existing methods have limited expressivity and are prone to overfitting. In this paper, we investigate the usefulness of more powerful shared mappings for output labels, and propose a deep residual output mapping with dropout between layers to better capture the structure of the output space and avoid overfitting. Evaluations on three language generation tasks show that our output label mapping can match or improve state-of-the-art recurrent and self-attention architectures, and suggest that the classifier does not necessarily need to be high-rank to better model natural language if it is better at capturing the structure of the output space.

연구 동기 및 목표

• 신경어휘생성에서 흔히 발생하는 크고 희박한 출력 레이블 공간에서 의미 있는 구조를 학습하는 데 도전하는 것.
• 출력 분류기의 표현력을 향상시켜 저자원 및 희귀 출력 레이블 간의 일반화 및 전이 성능을 향상시키는 것.
• 랭크나 차원 수를 늘리지 않고도 더 깊은 레이어 매핑을 통해 분류기의 성능을 향상시켜 최신 기준 모델을 능가할 수 있는지 탐색하는 것.
• 리스크리드 연결과 드롭아웃을 통해 고용량 출력 분류기에서의 과적합을 줄이고, 모델 효율성을 유지하는 것.

제안 방법

• 표준 선형 분류기 대신, 단어 임베딩에서 공동 입력-출력 공간으로 향하는 딥 리스크리드 비선형 매핑을 제안한다.
• 한 개 이상의 레이어를 건너뛰는 리스크리드 연결을 사용하여 기울기의 흐름을 더 쉽게 하고 입력 정보를 유지한다.
• 리스크리드 블록 간에 드롭아웃을 적용하여 네트워크를 정규화하고 과적합을 방지한다.
• 출력 예측을 위해 표준 내적과 소프트맥스 연산을 유지하여 기존 인코더 아키텍처와의 호환성을 보존한다.
• 두 가지 별도의 드롭아웃 전략을 활용한다: 히든 표현에 대한 표준 드롭아웃과 임의로 리스크리드 연결을 0으로 설정하는 리스크리드-드롭아웃.
• 입력 인코더(예: RNN, Transformer)는 그대로 유지하고, 출력 분류기만 DRILL 모듈로 대체한다.

실험 결과

연구 질문

• RQ1 랭크나 차원 수를 늘리지 않고도 더 깊고 리스크리드 기반의 출력 레이블 매핑이 신경어휘생성 성능 향상에 기여할 수 있는가?
• RQ2 출력 공간에서 더 표현력 있는 구조를 학습하면, 특히 희귀어나 저빈도어에 대해 일반화 성능이 향상되는가?
• RQ3 리스크리드 연결과 드롭아웃을 출력 레이어에 적용하면, 얕거나 비리스크리드 매핑에 비해 과적합을 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ4 간단하고 모듈화된 출력 레이어 교체가 복잡한 고용량 인코더 아키텍처를 능가할 수 있는가?

주요 결과

• DRILL는 언어모델링 벤치마크인 Wikitext-2에서 테스트 퍼플렉서티 18.3을 기록하여, Transformer(base) 모델보다 0.8 포인트 우수하고, 훨씬 더 적은 파라미터로 큰 Transformer(base) 모델의 성능을 재현한다.
• 32K BPE 어휘로 구성된 영어-독어 번역 작업에서, DRILL 기반의 Transformer(base)는 28.1 BLEU 점수를 기록하여 표준 Transformer(base)보다 0.8 BLEU 높고, 이중 비선형 매핑 방법보다도 0.6 BLEU 높다.
• 희귀어에 대한 예측 성능 향상을 보이며, 구조화된 출력 임베딩을 통해 의미적으로 유사한 레이블 간의 전이 학습이 향상됨을 시사한다.
• 더 깊은 디코더와 하이브리드 아키텍처를 사용하는 복잡한 앙상블 모델인 RNMT+ 캐스케이드 및 multicol과 비교해도 DRILL는 단일 모델, 비앙상블 구성 요소임에도 불구하고 성능을 동등하거나 능가한다.
• 입력 인코더를 수정하지 않고도 최신 기준 성능을 달성함으로써, 출력 레이어 설계가 성능 향상에 있어 중요한데도 여전히 미개척된 핵심 요소임을 시사한다.