[논문 리뷰] Neural Machine Translation for Query Construction and Composition

Tommaso Soru, Edgard Marx외 4명|arXiv (Cornell University)|2018. 06. 27.

Natural Language Processing Techniques참고 문헌 19인용 수 18

한 줄 요약

이 논문은 지식 기반 질문 응답에서 의미 분석을 위한 신경 기계 번역 접근법을 제안한다. 일련의 시퀀스 모델을 사용하여 템플릿 기반, 약한 감독 학습을 통해 자연어 질문을 SPARQL 쿼리로 매핑한다. 최적화된 SPARQL 인코딩과 엔티티 인식 커리큘럼 학습을 사용하여 DBpedia 영화 서브셋에서 99.29% BLEU 점수와 94.82% 정확도를 달성한다.

ABSTRACT

Research on question answering with knowledge base has recently seen an increasing use of deep architectures. In this extended abstract, we study the application of the neural machine translation paradigm for question parsing. We employ a sequence-to-sequence model to learn graph patterns in the SPARQL graph query language and their compositions. Instead of inducing the programs through question-answer pairs, we expect a semi-supervised approach, where alignments between questions and queries are built through templates. We argue that the coverage of language utterances can be expanded using late notable works in natural language generation.

연구 동기 및 목표

• 지식 기반 질문 응답에서 자연어 질문을 실행 가능한 SPARQL 쿼리로 매핑하는 데 도전 과제를 해결한다.
• 질문-답변 쌍의 고비용 감독 학습에 의존도를 줄이기 위해 템플릿에 맞춘 질문-쿼리 쌍을 대체로 사용한다.
• 자연어 생성 기법을 활용한 약한 감독 학습 확장을 통해 언어 표현의 일반화 및 커버리지 향상을 도모한다.
• 엔티티 이름의 모호성과 OOV(Out-of-Vocabulary) 단어로 인한 오류를 줄이기 위해 엔티티 빈도 정규화 및 훈련 시 직접적인 엔티티 레이블링을 통합한다.
• DBpedia 기반 데이터셋에서 다양한 SPARQL 시퀀스 인코딩 및 훈련 설정의 효과를 평가한다.

제안 방법

• 양방향 LSTM 기반의 시퀀스-투-시퀀스 모델을 사용하여 자연어 질문을 SPARQL 쿼리 시퀀스로 매핑한다.
• 신경 SPARQL 머신 아키텍처를 활용하며, 세 가지 모듈로 구성된다: 생성기(템플릿에서 훈련 데이터 생성), 학습기(시퀀스-투-시퀀스 번역), 해석기(규칙 기반 히우리스틱을 사용해 최종 쿼리 재구성).
• 질문-쿼리 템플릿을 사용해 훈련 데이터를 생성하며, 장식어(예: "$<$A$>$는 어디에 위치해 있나요?")의 자리에 엔티티를 변수로 대체한다.
• 모델 성능 향상과 수렴 속도 향상을 위해 토큰 병합 및 시퀀스 단축을 통한 SPARQL 인코딩 최적화를 실시한다.
• 점진적으로 복잡한 그래프 패턴과 SPARQL 연산자 조합을 도입하기 위해 커리큘럼 학습을 적용한다.
• 사전 학습된 단어 임베딩과 공동 지식 그래프 임베딩을 활용해 외부 지식을 통합하여 어휘 불일치 및 엔티티 해석 불확실 문제를 해결한다.

실험 결과

연구 질문

• RQ1 완전한 감독 없이도 신경 기계 번역 프레임워크가 자연어 질문을 SPARQL 쿼리로 효과적으로 매핑할 수 있는가?
• RQ2 SPARQL 시퀀스 인코딩의 선택이 시퀀스-투-시퀀스 모델의 의미 분석 성능에 어떤 영향을 미치는가?
• RQ3 템플릿 기반, 약한 감독 학습이 KBQA에서 언어 표현의 커버리지 및 일반화를 얼마나 향상시킬 수 있는가?
• RQ4 엔티티 수준의 정규화 및 직접적인 엔티티 레이블링이 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ5 다중 플레이스홀더와 중첩된 SPARQL 구조를 포함한 복잡한 쿼리로의 일반화가 가능한가?

주요 결과

• 가장 효과적인 SPARQL 인코딩(v4)은 99.29% BLEU 점수와 93.69% 정확도를 기록하여 이전 버전보다 유의미한 성능 향상을 보였다.
• 훈련 세트에 직접적인 엔티티 번역을 추가함으로써 20,000 에포크 동안의 학습 곡선을 통해 수렴 속도 향상과 모델 안정성 향상을 입증하였다.
• 토큰 병합을 통한 SPARQL 시퀀스 단축은 BLEU 점수 1.5% 향상과 더불어 수렴 속도 향상을 이끌어내어 시퀀스 표현의 중요성을 입증하였다.
• v3 및 v4 인코딩은 각각 99.28% 및 99.29% BLEU 점수를 기록하여 DBpedia의 영화 서브셋에서 거의 최적의 성능을 달성하였다.
• 엔티티 빈도 정규화 및 레이블 기반 감독을 통한 학습을 통해 OOV 단어와 엔티티 이름 충돌 문제에 대해 강건성을 확보하였다.
• 질문-답변 쌍의 고비용 애너테이션을 피하기 위해 템플릿 기반 약한 감독 학습을 활용함으로써 기준 모델보다 뛰어난 성능을 달성하였다.