[논문 리뷰] Bootstrapping a Data-Set and Model for Question-Answering in Portuguese (Short Paper)

Amalou, Abderaouf N, Fromont, Elisa외 1명|arXiv (Cornell University)|2019. 01. 09.

Topic Modeling참고 문헌 60인용 수 593

한 줄 요약

Transformer-XL은 세그먼트 수준의 반복과 상대적 위치 인코딩을 조합함으로써 장거리 시퀀스 모델링을 가능하게 하는 새로운 아키텍처를 도입한다. 이로 인해 어 attention 이 RNN보다 80% 더 긴, 보편적인 Transformer보다 450% 더 긴 의존성을 포착할 수 있으며, 최대 1,800배 빠른 추론을 통해 언어 모델링에서 최고 성능을 달성한다.

ABSTRACT

Question answering systems are mainly concerned with fulfilling an information query written in natural language, given a collection of documents with relevant information. They are key elements in many popular application systems as personal assistants, chat-bots, or even FAQ-based online support systems. This paper describes an exploratory work carried out to come up with a state-of-the-art model for question-answering tasks, for the Portuguese language, based on deep neural networks. We also describe the automatic construction of a data-set for training and testing the model. The final model is not trained in any specific topic or context, and is able to handle generic documents, achieving 50% accuracy in the testing data-set. While the results are not exceptional, this work can support further development in the area, as both the data-set and model are publicly available.

연구 동기 및 목표

• 표준 Transformer와 RNN의 고정 길이 컨텍스트 제한 문제를 해결하여 장기 의존성 모델링을 가능하게 하기 위해.
• 고정 길이 세그먼트로 학습함으로써 발생하는 컨텍스트 분할 문제를 해결하기 위해.
• 시간적 일관성을 해치지 않으면서 세그먼트 간 효과적인 정보 흐름을 가능하게 하기 위해.
• 언어 모델링 작업에서 짧은 시퀀스와 긴 시퀀스 양쪽 모두에서 성능을 향상시키기 위해.
• 다양한 언어 모델링 벤치마크에서 더 빠른 추론과 더 나은 일반화 성능을 달성하기 위해.

제안 방법

• 이전 세그먼트의 은닉 상태를 메모리로 재사용함으로써 세그먼트 수준의 반복을 도입한다.
• 학습 중에 관찰한 것보다 더 긴 어텐션 길이로 일반화할 수 있도록 상대적 위치 인코딩 기법을 제안한다.
• 절대적 위치 인코딩을 상대적 인코딩으로 대체함으로써 메모리 재사용 시 시간적 일관성을 유지한다.
• 고정 길이 컨텍스트 창을 갖춘 메모리 보강형 Transformer 디코더를 사용하지만, 반복을 통해 여러 세그먼트에 걸친 컨텍스트를 허용한다.
• 세그먼트 간 동일한 자기 어텐션 메커니즘을 적용함으로써, 현재 세그먼트의 바로 이웃한 토큰을 넘어서도 어텐션을 적용할 수 있도록 한다.
• 세그먼트로 나누어진 데이터에서 종단 간 학습을 수행하지만, 메모리 재사용과 상대적 위치 인코딩을 통해 장거리 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기 어텐션 모델이 RNN과 보편적인 Transformer가 포착할 수 있는 것보다 더 긴 의존성을 학습할 수 있는가?
• RQ2 메모리 재사용을 동반한 세그먼트 수준의 반복이 시간적 일관성을 해치지 않으면서 장기 컨텍스트 모델링을 향상시킬 수 있는가?
• RQ3 상대적 위치 인코딩이 훈련 컨텍스트 길이를 초월한 더 긴 시퀀스에서 효과적인 어텐션을 가능하게 할 수 있는가?
• RQ4 Transformer-XL은 짧은 시퀀스와 긴 시퀀스 언어 모델링 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ5 微조정 없이도 모델이 일관되고 장기적인 텍스트를 생성할 수 있는가?

주요 결과

• 微조정 없이도 Transformer-XL은 enwiki8에서 테스트 퍼플렉서티 0.99, text8에서 1.08, WikiText-103에서 18.3, One Billion Word에서 21.8, Penn Treebank에서 54.5를 기록한다.
• 모델은 RNN보다 80% 더 긴 의존성을 포착하고, 보편적인 Transformer보다 450% 더 긴 의존성을 포착한다.
• 평가 중에 Transformer-XL은 효율적인 메모리 재사용 덕분에 보편적인 Transformer보다 최대 1,800배 빠른 추론 속도를 보인다.
• WikiText-103의 1,000만 토큰만으로도 훈련된 모델은 수천 토큰에 이르는 일관되고 새로운 텍스트 기사 생성이 가능하다.
• WikiText-103 테스트 세트에서 1,000토큰 샘플을 통해 볼 때, 모델은 장기 생성에서 주제 일관성과 시간적 일관성을 유지한다.
• 상대적 위치 인코딩은 안정적인 메모리 재사용을 가능하게 하며, 장기간 시퀀스에서 시간적 혼동을 방지한다.