[논문 리뷰] TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding

Zhiheng Huang, Peng Xu외 3명|arXiv (Cornell University)|2020. 03. 16.

Topic Modeling참고 문헌 27인용 수 25

한 줄 요약

이 논문은 BERT의 각 트랜스포머 블록에 양방향 LSTM(BLSTM) 레이어를 통합한 하이브리드 아키텍처인 TRANS-BLSTM을 제안한다. 이는 트랜스포머의 장거리 어텐션과 BLSTM의 순차적 모델링 능력을 결합하여, 모델 크기 확장을 초월한 표현 학습 향상을 달성한다. SQuAD 1.1(F1: 94.01%)에서 최고 성능을 기록했으며, GLUE 벤치마크에서도 BERT 기준선보다 일관되게 정확도를 향상시켜 아키텍처 융합이 모델 크기 확장 외에도 표현 학습을 향상시킨다는 것을 입증한다.

ABSTRACT

Bidirectional Encoder Representations from Transformers (BERT) has recently achieved state-of-the-art performance on a broad range of NLP tasks including sentence classification, machine translation, and question answering. The BERT model architecture is derived primarily from the transformer. Prior to the transformer era, bidirectional Long Short-Term Memory (BLSTM) has been the dominant modeling architecture for neural machine translation and question answering. In this paper, we investigate how these two modeling techniques can be combined to create a more powerful model architecture. We propose a new architecture denoted as Transformer with BLSTM (TRANS-BLSTM) which has a BLSTM layer integrated to each transformer block, leading to a joint modeling framework for transformer and BLSTM. We show that TRANS-BLSTM models consistently lead to improvements in accuracy compared to BERT baselines in GLUE and SQuAD 1.1 experiments. Our TRANS-BLSTM model obtains an F1 score of 94.01% on the SQuAD 1.1 development dataset, which is comparable to the state-of-the-art result.

연구 동기 및 목표

• 모델 크기 확장을 초월해 트랜스포머와 양방향 LSTM(BLSTM) 아키텍처를 융합함으로써 언어 표현을 향상시킬 수 있는지 조사하기.
• BERT의 마스크된 언어 모델링 사전학습 목표의 한계를 BLSTM를 통한 순차적 모델링 통합으로 해결하기.
• 트랜스포머의 장거리 의존성과 BLSTM의 맥락 기반 순차적 모델링 능력을 활용하는 통합 모델링 프레임워크 개발하기.
• 순수한 BERT 및 독립적인 BLSTM 모델 대비 하이브리드 아키텍처가 표준 NLP 벤치마크에서 우수한 성능을 보이는지 평가하기.
• 모델 크기 증가 외에 아키텍처 개선이 전이 학습에서 일관된 정확도 향상으로 이어지는지 탐구하기.

제안 방법

• 제안된 TRANS-BLSTM 아키텍처는 트랜스포머 인코더의 각 다중헤드 자기주의 블록 뒤에 BLSTM 레이어를 삽입한다.
• 각 트랜스포머 블록은 다중헤드 자기주의를 거친 후 피드포워드 네트워크와 잔차 연결을 거치며, 잔차 출력에 추가로 BLSTM 레이어를 적용한다.
• 사전학습 중 전체 단어 마스킹을 사용하여 BERT의 부분 단어 마스킹 대비 성능 향상을 이룬다.
• 모델은 표준 BERT 스타일의 미세조정을 통해 하류 작업에 맞추어지며, 안정성을 확보하기 위해 최적의 학습률 탐색과 다수의 랜덤 재시작을 수행한다.
• 모델은 SQuAD 1.1 및 GLUE 벤치마크에서 BERT-base, BERT-large, BERT-xlarge 모델과의 비교를 통해 평가된다.
• 모델은 배치 크기 32와 GLUE 작업에서의 미세조정에 3 에포크를 포함한 표준 BERT 초파rameter로 훈련된다.

실험 결과

연구 질문

• RQ1 각 트랜스포머 블록에 BLSTM 레이어를 통합하면 표준 BERT 대비 NLP 벤치마크 성능 향상이 이루어지는가?
• RQ2 트랜스포머와 BLSTM의 통합 모델링이 BERT에서 관찰되는 사전학습-미세조정 불일치 문제를 완화하는가?
• RQ3 성능 향상은 아키텍처 융합 때문인가, 아니면 단순히 모델 용량 증가 때문인가?
• RQ4 정확도 및 훈련 안정성 측면에서 하이브리드 모델은 독립적인 BLSTM 및 BERT 모델과 비교해 어떻게 성과를 내는가?
• RQ5 모델 크기 증가 외에 아키텍처 개선이 정확도 향상 측면에서 더 우수한 성능을 내는가?

주요 결과

• TRANS-BLSTM 모델은 SQuAD 1.1 개발 세트에서 F1 점수 94.01%를 기록하여 최고 성능을 달성했다.
• SQuAD 1.1에서 대규모 TRANS-BLSTM 모델은 BERT 기반 모델의 F1 점수를 90.05%에서 94.01%로 향상시켜 일관된 성능 향상을 입증했다.
• GLUE에서 TRANS-BLSTM 기반 모델은 평균 점수를 84.63%(TRANS/BERT)에서 85.35%로 향상시켰으며, 대규모 모델은 85.59%에서 86.50%로 상승했다.
• 48층 모델은 24층 BERT-large 모델과 비교해 정확도 향상이 없었으며, 깊이 증가에 따른 수익 감소를 보였다.
• BERT-large의 은닉 크기를 단순히 두 배로 늘린 모델은 SQuAD 1.1에서 F1 점수 86.3%로 하락했으며, 이는 크기 증가만으로는 성능이 악화됨을 시사한다.
• 독립적인 BLSTM 및 BERT-base 모델보다도 우수한 성능을 기록하여, 융합 아키텍처가 개별 구성 요소보다 더 효과적임을 확인했다.