[논문 리뷰] Subword-augmented Embedding for Cloze Reading Comprehension

Zhuosheng Zhang, Yafang Huang외 1명|arXiv (Cornell University)|2018. 06. 24.

Topic Modeling참고 문헌 40인용 수 22

한 줄 요약

이 논문은 쿼즈 스타일 독해 이해를 향상시키기 위해 문자 수준 표현을 서브워드 수준 표현으로 대체하고, 단순한 연산을 통해 통합함으로써 희귀어 및 OOV(Out-of-Vocabulary) 단어 처리를 향상시키기 위해 서브워드 보강 단어 임베딩(SAW)을 제안한다. SAW 리더는 효율성과 커버리지 향상을 위한 짧은 목록 기법을 통해 단어 및 서브워드 표현을 효과적으로 통합함으로써 다국어 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Representation learning is the foundation of machine reading comprehension. In state-of-the-art models, deep learning methods broadly use word and character level representations. However, character is not naturally the minimal linguistic unit. In addition, with a simple concatenation of character and word embedding, previous models actually give suboptimal solution. In this paper, we propose to use subword rather than character for word embedding enhancement. We also empirically explore different augmentation strategies on subword-augmented embedding to enhance the cloze-style reading comprehension model reader. In detail, we present a reader that uses subword-level representation to augment word embedding with a short list to handle rare words effectively. A thorough examination is conducted to evaluate the comprehensive performance and generalization ability of the proposed reader. Experimental results show that the proposed approach helps the reader significantly outperform the state-of-the-art baselines on various public datasets.

연구 동기 및 목표

• 쿼즈 스타일 독해 이해에서 희귀어 및 OOV 단어를 표현하는 데 있어 문자 수준 및 단어 수준 임베딩의 한계를 해결하기 위해.
• 문자보다 더 의미 있는 언어 단위로 서브워드 유닛을 활용하여 단어 표현을 향상시키기 위해.
• 복잡한 아키텍처나 수작업 특징 없이도 단순하면서도 효과적인 방법으로 서브워드 및 단어 임베딩을 통합하기 위해.
• 희귀어를 위한 짧은 목록 기법을 통해 모델 일반화 능력과 효율성을 향상시키기 위해.
• 중국어 및 영어 쿼즈 데이터셋을 포함한 다국어 벤치마크에서 접근 방식을 평가하기 위해.

제안 방법

• 바이트 페어 인코딩(BPE) 또는 유사한 방법을 통해 유도된 서브워드 유닛을 문자 대신 단어 표현에 사용하여, 더 효과적으로 형태소적 및 의미적 정보를 포착한다.
• 단어 수준 및 서브워드 수준 임베딩을 결합하기 위해 단순한 연결(concatenation) 또는 원소별 연산(element-wise operations)을 적용하여 공동 표현 학습을 수행한다.
• 희귀어 및 OOV 단어를 처리하기 위해 서브워드 유닛의 짧은 목록을 도입하여 모델 크기를 줄이고 학습 속도를 향상시킨다.
• 표준 어텐션 기반 리더 모델(GA Reader 등)에 SAW 임베딩을 통합하여 답변 예측 성능을 향상시킨다.
• 표준 최적화 방법을 사용하여 엔드 투 엔드로 모델을 학습하며, 서브워드 표현은 학습 도중에 함께 학습된다.
• BPE 기반 서브워드 분할을 통해 미리 정의되지 않은 단어를 의미 있는 서브유닛으로 분해함으로써 동적으로 알려지지 않은 단어를 처리한다.

실험 결과

연구 질문

• RQ1 서브워드 수준 표현이 쿼즈 스타일 독해 이해를 위한 단어 임베딩 향상에서 문자 수준 표현을 능가할 수 있는가?
• RQ2 중국어와 같이 자원이 적거나 형태소가 풍부한 언어에서 서브워드 보강 임베딩은 희귀어 및 OOV 단어 처리에 어떻게 기여하는가?
• RQ3 신경망 기반 독해 이해 모델에서 단어 수준 및 서브워드 수준 표현을 융합하는 데 가장 적합한 전략은 무엇인가?
• RQ4 제안된 방법은 문자 기반 베이스라인 대비 모델 효율성(예: 학습 속도, 모델 크기)을 유지하거나 향상시키는가?
• RQ5 짧은 목록 기법이 다국어 환경에서 OOV 토큰 수를 얼마나 줄이고 일반화 능력을 향상시키는가?

주요 결과

• SAW 리더는 중국어 독해 이해 벤치마크 다수에서 최신 기술 수준(SOTA) 베이스라인을 뛰어넘는 성능을 보이며, OOV 비율이 높은 데이터셋에서도 뛰어난 성능을 기록한다.
• GA 리더 베이스라인 대비 OOV 관련 오류를 약 1/5 감소시켜, 희귀어 및 명사어 답변 처리 능력 향상을 입증한다.
• 서브워드 보강 임베딩은 중국어 및 영어 벤치마크 전반에서 일관된 성능 향상을 이끌어내어 다국어 적용 가능성의 타당성을 확인한다.
• 짧은 목록 기법은 성능을 유지하면서도 모델 크기를 줄이고 학습 속도를 향상시켜, 특히 희귀어 처리에 유리하다.
• 복잡한 게이팅 메커니즘보다 단순한 연결 또는 원소별 연산이 더 높은 성능과 더 낮은 계산 비용을 제공함을 확인하였다.
• 제거 실험(ablation study) 결과, 의미 있는 형태소적 및 의미적 패턴을 포착하는 데 서브워드 수준 표현이 문자 수준 표현보다 더 효과적임을 입증하였다.