[논문 리뷰] One-shot Learning for Question-Answering in Gaokao History Challenge

Zhuosheng Zhang, Hai Zhao|arXiv (Cornell University)|2018. 06. 24.

Topic Modeling참고 문헌 46인용 수 32

한 줄 요약

이 논문은 중국 고고고사 역사 시험의 소수 샘플 질문-답변에 대해 협동 게이팅 신경망(CGNN)의 성능을 향상시키기 위해 신경 터미널 기계(NTM)를 자동 레이블러로 사용하는 일회성 학습 프레임워크를 제안한다. 모델은 최소한의 레이블 데이터로 긴 복잡한 답변의 의미적 표현을 효과적으로 포착함으로써 신경 기반 기준 모델보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Answering questions from university admission exams (Gaokao in Chinese) is a challenging AI task since it requires effective representation to capture complicated semantic relations between questions and answers. In this work, we propose a hybrid neural model for deep question-answering task from history examinations. Our model employs a cooperative gated neural network to retrieve answers with the assistance of extra labels given by a neural turing machine labeler. Empirical study shows that the labeler works well with only a small training dataset and the gated mechanism is good at fetching the semantic representation of lengthy answers. Experiments on question answering demonstrate the proposed model obtains substantial performance gains over various neural model baselines in terms of multiple evaluation metrics.

연구 동기 및 목표

• 레이블이 극도로 제한된 고고고사 역사 시험의 소수 샘플 종합 질문-답변 과제에 도전한다.
• 복잡하고 비정형적인 답변 생성을 위해 대규모 레이블 데이터가 필요한 전통적 신경망의 한계를 극복한다.
• 희소 주석이 존재하는 실생활 교육 질문-답변 과제에 적합한 약한 지도 학습 전략을 개발한다.
• 외부 메모리 기반 기법을 활용해 최소한의 지도 신호로부터 깊은 신경망이 풍부한 의미적 표현을 학습할 수 있도록 한다.
• 비정형 교과서 스타일 지식 자료를 활용한 개방형, 비사실형, 종합적인 질문-답변에 대한 새로운 벤치마크를 수립한다.

제안 방법

• 질문과 후보 답변을 의미적 매칭을 위해 공동으로 인코딩하기 위해 협동 게이팅 신경망(CGNN)을 사용한다.
• 소수의 애너테이션 예시만을 사용하여 NTM을 레이블러로 통합해 후보 답변에 대한 가짜 레이블을 생성한다.
• NTM의 미분 가능한 외부 메모리를 활용해 관련 지식을 저장하고 검색함으로써 최소 지도 신호에서 일회성 학습을 가능하게 한다.
• NTM가 생성한 가짜 레이블 데이터로 CGNN을 훈련시켜 실제 애너테이션 수가 적은 상황에서도 일반화 성능을 향상시킨다.
• NTM이 메모리 읽기 및 写기 기능을 활용해 교과서 스타일 텍스트에서 인간과 유사한 추론 및 지식 검색을 시뮬레이션한다.
• 레이블이 없는 교과서 문단으로부터의 비지도 표현 학습과 NTM 레이블러를 통한 약한 지도 학습을 융합하여 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 최소한의 레이블 데이터로 일회성 학습 접근법이 고고고사 역사 시험의 질문-답변 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 소자원 환경에서 고품질의 답변 표현을 생성하기 위해 신경 터미널 기계(NTM)가 자동 레이블러로써 얼마나 효과적인가?
• RQ3 협동 게이팅 신경망(CGNN)이 표준 신경망보다 긴 복잡한 답변 텍스트 내의 의미 관계를 더 잘 포착할 수 있는가?
• RQ4 NTM 기반 레이블러의 통합이 소수 샘플 시나리오에서 딥 질문-답변 모델의 성능을 뚜렷이 향상시키는가?
• RQ5 희소 주석을 활용한 약한 지도 학습이 종합 질문-답변 과제에서 전통적인 검색 기반 또는 완전 지도 학습 방법보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• NTM 레이블러를 탑재한 제안된 모델은 다양한 평가 지표에서 여러 신경망 기준 모델을 뛰어넘는 뚜렷한 성능 향상을 달성한다.
• NTM 레이블러는 소수의 애너테이션 예시만으로도 고품질의 가짜 레이블을 효과적으로 생성하여 자원이 제한된 환경에서 강력한 일반화 능력을 입증한다.
• 협동 게이팅 신경망(CGNN)은 긴 답변 텍스트 내의 복잡한 의미 관계를 효과적으로 모델링하여 BM25 및 기타 신경 기반 기준 모델을 능가한다.
• NTM 레이블러의 통합은 모든 딥 신경망 모델의 성능을 뚜렷이 향상시켜, 약한 지도 학습에서의 효과성을 확인한다.
• 모델은 비정형 교과서 자료에서의 깊이 있는 추론과 지식 통합이 필요한 종합적이고 비사실형 질문을 성공적으로 처리한다.
• 본 연구는 향후 소수 샘플, 개방형, 추론 중심 질문-답변 연구를 가능하게 하는 새로운 중국어 종합 질문-답변 데이터셋을 도입한다.