[논문 리뷰] Sogou Machine Reading Comprehension Toolkit

Jindou Wu, Yunlun Yang외 6명|arXiv (Cornell University)|2019. 03. 28.

Topic Modeling참고 문헌 18인용 수 6

한 줄 요약

이 논문은 SQuAD 1.0 결과를 원본 논문과 0.1–0.3 F1/EM 포인트 이내로 재현하며, 빠른 프로토타이핑과 모델 비교를 가능하게 하는 텐서플로우 기반의 Sogou 기계적 이해 툴킷(SMRC)을 소개한다. 이 툴킷은 통합된 데이터셋 리더, 유연한 전처리 파이프라인, 재사용 가능한 신경망 컴포넌트, 그리고 BERT, BiDAF, QANet과 같은 최신 모델의 내장 구현을 제공함으로써 신경 기계적 이해 모델의 개발을 가속화한다.

ABSTRACT

Machine reading comprehension have been intensively studied in recent years, and neural network-based models have shown dominant performances. In this paper, we present a Sogou Machine Reading Comprehension (SMRC) toolkit that can be used to provide the fast and efficient development of modern machine comprehension models, including both published models and original prototypes. To achieve this goal, the toolkit provides dataset readers, a flexible preprocessing pipeline, necessary neural network components, and built-in models, which make the whole process of data preparation, model construction, and training easier.

연구 동기 및 목표

• 특정 코드베이스와 다른 학습 환경으로 인해 발표된 기계적 이해 모델을 재현하는 데 소요되는 시간과 노력이 낭비되는 문제를 해결하기 위해.
• 재사용 가능한 컴포넌트, 전처리 파이프라인, 내장된 모델 구현을 제공함으로써 새로운 모델 개발을 단순화하기 위해.
• SQuAD 1.0, SQuAD 2.0, CoQA, CMRC2018를 포함한 다양한 데이터셋을 지원하여 다중 데이터셋 평가 및 비교를 가능하게 하기 위해.
• 어휘 생성기, 특징 추출기, 배치 생성기와 같은 모듈식이고 확장 가능한 컴포넌트를 제공함으로써 빠른 프로토타이핑을 지원하기 위해.
• BERT, ELMo, QANet과 같은 최신 모델을 고수준 API를 통해 쉽게 학습하고 평가할 수 있도록 통합하기 위해.

제안 방법

• 툴킷은 네 가지 핵심 모듈로 구성된 파이프라인 아키텍처를 사용한다: 데이터셋 리더, 데이터 전처리, 모델 구축, 모델 학습.
• SQuAD 1.0, SQuAD 2.0, CoQA, CMRC2018용 데이터셋 리더가 제공되며, 원시 데이터를 통일된 필드 이름을 가진 표준화된 직렬화 가능한 데이터 객체로 변환한다.
• 전처리 파이프라인은 단어 및 문자 수준의 임베딩을 지원하는 어휘 생성기와 함께 제공되며, GloVe 및 fastText와 같은 사전 학습된 임베딩을 로드할 수 있다.
• POS, NER, TF, 정확한 매칭과 같은 언어적 특징은 모듈식 특징 추출기를 통해 추출되며, 이는 이산 특징용 어휘를 구축한다.
• 배치 생성기는 텐서플로우 데이터셋 API를 사용하여 데이터 변환을 효율적으로 병렬화하고, 동적 팞딩을 적용하며 일관된 형상을 가진 텐서를 배치로 묶는다.
• 모델 구축은 기능 API로 감싸진 컴포넌트를 사용한 커스터마이징 아키텍처와 BiDAF, DrQA, QANet, BERT와 같은 내장 모델을 모두 지원하며, 주의 메커니즘과 임베딩 레이어를 구성 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합적이고 모듈식 툴킷이 발표된 기계적 이해 모델을 재현하고 비교하는 데 소요되는 시간과 노력을 줄일 수 있는가?
• RQ2 툴킷의 전처리 및 학습 파이프라인이 SQuAD 1.0, SQuAD 2.0, CoQA, CMRC2018와 같은 다양한 데이터셋 간에 호환성과 성능을 얼마나 잘 유지하는가?
• RQ3 GloVe, ELMo, fastText와 같은 다양한 단어 임베딩이 SQuAD 1.0 및 CoQA와 같은 표준 벤치마크에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 툴킷의 사전 학습된 컨텍스트 임베딩(BERT, ELMo 등) 통합이 원본 구현과 유사한 성능을 달성할 수 있는가?
• RQ5 재사용 가능한 컴포넌트와 유연한 아키텍처를 통해 툴킷이 새로운 모델의 빠른 프로토타이핑을 얼마나 효과적으로 지원하는가?

주요 결과

• 툴킷은 BiDAF를 사용해 SQuAD 1.0 결과를 성공적으로 재현하였으며, F1 77.3, EM 67.7을 기록하여 원본 논문의 보고된 점수와 일치한다.
• SQuAD 1.0에서 미세조정된 BERT-Base는 F1 88.3, EM 80.6을 기록하였으며, 원본 논문의 88.5 F1 및 80.8 EM과 매우 유사하게 수렴한다.
• SQuAD 2.0에서 BERT-Base는 F1 75.9, EM 73.0을 기록하였으며, 원본 논문의 보고된 75.1 F1 및 72.0 EM을 略로 초월한다.
• ELMo 통합은 성능 향상에 일관되게 기여한다: ELMo를 사용한 DrQA는 SQuAD 1.0에서 F1 83.1, EM 74.4를 기록하였으며, 랜덤 임베딩을 사용한 경우 F1 78.9, EM 69.4에 그친다.
• CoQA에서 BERT-Base에 답변 검증 기능을 통합한 결과 F1 79.5를 기록하였으며, 원본 BiDAF++ 기준 69.2 F1를 뛰어넘었다.
• 툴킷의 BiDAF 구현은 CMRC2018에서 F1 57.01, EM 35.0을 기록하여 중국어 기계적 이해에 대한 강력한 기준 성능을 확립하였다.