[논문 리뷰] Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds

Marco Dinarelli, Loïc Grobol|arXiv (Cornell University)|2019. 09. 16.

Natural Language Processing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 순서 분류 작업을 위한 하이브리드 신경망 아키텍처를 제안한다. 이 아키텍처는 양방향 GRU, 시퀀스-투-시퀀스 모델링, 그리고 Transformer 자기주의 attention을 통합한다. 이 모델은 세 가지 벤치마크 데이터셋—MEDIA(French SLU), WSJ(영어 POS 태깅), TIGER(독일어 형태구문 태깅)—에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하여, 이러한 아키텍처를 조합하는 것이 시퀀스 모델링에 효과적임을 입증한다.

ABSTRACT

We propose a neural architecture with the main characteristics of the most successful neural models of the last years: bidirectional RNNs, encoder-decoder, and the Transformer model. Evaluation on three sequence labelling tasks yields results that are close to the state-of-the-art for all tasks and better than it for some of them, showing the pertinence of this hybrid architecture for this kind of tasks.

연구 동기 및 목표

• 양방향 RNN, 시퀀스-투-시퀀스 모델, 그리고 Transformer의 강점을 통합한 통합 신경망 아키텍처를 설계함으로써 시퀀스 분류에 최적화된 모델을 개발한다.
• 단순히 POS 태깅을 넘어서 SLU 및 형태구문 태깅과 같은 다양한 시퀀스 분류 작업에 대해 하이브리드 모델을 평가한다.
• 기존 모델보다 성능 향상을 이룰 수 있는지, 특히 자원이 제한된 또는 덜 연구된 환경에서 이러한 아키텍처의 통합이 성능 향상에 기여하는지 확인한다.
• 기계 번역 및 문법 분석과 같은 작업에 적용했을 때의 일반화 잠재력을 평가함으로써 모델의 일반화 능력을 점검한다. (본 논문에서는 이러한 작업에 대한 평가를 수행하지는 않음.)
• 시퀀스 분류에서 입력-출력의 일对일 대응 관계가 순수한 Transformer보다 하이브리드 모델에 의해 더 잘 유지되는지 조사한다.

제안 방법

• 인코더는 입력 토큰을 처리하기 위해 양방향 GRU를 사용하며, 단어 임베딩과 별도의 양방향 GRU를 통해 계산된 문자 수준 표현을 결합한다.
• 문자 수준 표현은 문자 수준 GRU의 최종 은닉 상태를 합산한 후, 피드포워드 네트워크를 통과시켜 얻는다.
• 디코더는 이전 연구에서 영감을 얻은 양방향 컨텍스트 메커니즘을 사용하여, 예측이 과거와 미래의 레이블에 모두 의존하도록 하여 맥락 인식 능력을 향상시킨다.
• 모델은 디코더에 Transformer 아키텍처의 자기주의 attention 메커니즘을 통합하여 출력 시퀀스 내 장거리 의존성을 포착한다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 일부 실험에서는 사전 학습된 임베딩을 사용하지 않는다. 이를 강력한 베이스라인인 LSTM+CRF 및 Transformer 모델과 비교한다.
• 모델은 세 가지 시퀀스 분류 작업—프랑스어 SLU(MEDIA), 영어 POS 태깅(WSJ), 독일어 형태구문 태깅(TIGER)—에서 평가되며, 디코더 변형에 대한 추론 실험도 수행된다.

실험 결과

연구 질문

• RQ1 양방향 RNN, 시퀀스-투-시퀀스 모델링, 그리고 Transformer attention을 통합한 하이브리드 신경망 아키텍처가 시퀀스 분류 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 양방향 컨텍스트를 갖춘 시퀀스-투-시퀀스 프레임워크에 자기주의 attention을 통합하면, 기존의 RNN 기반 모델보다 시퀀스 분류 성능이 향상되는가?
• RQ3 TIGER와 같이 덜 일반적으로 평가되는 시퀀스 분류 데이터셋에서 모델의 성능는 어떻게 되는가? 특히 비신경망 또는 오래된 신경망 모델과 비교했을 때 어떻게 되는가?
• RQ4 사전 학습된 단어 임베딩의 부재가 모델의 성능에 어떤 영향을 미치는가? 여전히 이러한 임베딩을 사용하는 모델보다 성능이 뛰어나게 유지되는가?
• RQ5 순수한 Transformer 모델이 시퀀스 분류 작업에서 성능이 열등한 이유는 무엇이며, 하이브리드 아키텍처가 입력-출력 일치 관계를 유지함으로써 이 문제를 완화시킬 수 있는가?

주요 결과

• 제안된 하이브리드 모델은 TIGER 형태구문 태깅 작업에서 테스트 F1 스코어 91.86을 기록하여 이전 최신 기술 수준 모델(VO-CRF)의 88.78을 초월한다.
• 프랑스어 SLU를 위한 MEDIA 코퍼스에서, 모델은 개발 세트에서 F1 98.30을 기록하며 정확도 93.90을 달성하여 말하기 언어 이해 작업에서 뛰어난 성능을 보였다.
• WSJ 코퍼스에서의 POS 태깅 작업에서, 모델은 테스트 세트에서 F1 91.86을 기록하여 LSTM+CRF 베이스라인을 초월했으며, GloVe 사전 학습 임베딩을 사용하지 않아도 최신 기술 수준 성능에 근접했다.
• Guo 등(2019)이 보고한 Transformer 및 Star-Transformer 모델조차도 사전 학습 임베딩을 사용했음에도 불구하고, 본 모델이 이를 뛰어넘는 것으로 나타나 아키텍처의 하이브리드화가 유리함을 시사한다.
• 모델의 훈련 및 개발 손실 곡선은 이전 모델(Sequence-to-Bi-Sequence)보다 더 우수한 경향을 보이며, 유사한 최종 성능에도 불구하고 최적화 동역학이 향상됨을 시사한다.
• 모델은 다른 작업으로의 일반화 능력이 뛰어나며, 기계 번역 및 문법 분석 작업에 적용 가능한 것으로 나타나, 시퀀스 분류를 넘어서도 넓은 적용 가능성을 보여준다.