[논문 리뷰] Lattice CNNs for Matching Based Chinese Question Answering

Yuxuan Lai, Yansong Feng외 4명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 중국어 질의응답을 위한 텍스트 매칭에서 다중 분해능 정보를 포착하기 위해 단어 라티스를 활용하는 새로운 신경망 아키텍처인 라티스 CNN(LCNs)을 제안한다. 동적 컨볼루션 커널과 게이트드 풀링을 통해 단어와 문자를 동시에 처리함으로써, LCNs는 문서 기반 및 지식 기반 중국어 질의응답 작업에서 최신 기술(SOTA) 모델을 능가하며, 단어 분할 변형과 표현 다양성에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

Short text matching often faces the challenges that there are great word mismatch and expression diversity between the two texts, which would be further aggravated in languages like Chinese where there is no natural space to segment words explicitly. In this paper, we propose a novel lattice based CNN model (LCNs) to utilize multi-granularity information inherent in the word lattice while maintaining strong ability to deal with the introduced noisy information for matching based question answering in Chinese. We conduct extensive experiments on both document based question answering and knowledge based question answering tasks, and experimental results show that the LCNs models can significantly outperform the state-of-the-art matching models and strong baselines by taking advantages of better ability to distill rich but discriminative information from the word lattice input.

연구 동기 및 목표

• 질의응답을 위한 중국어 단문 텍스트 매칭에서 단어 분할의 모호성과 표현 다양성의 과제를 해결한다.
• 분할 오류와 분해능 불일치로 인해 매칭 성능이 제한되는 고정된 단어 분할 파ip라인의 한계를 극복한다.
• 모든 가능한 단어 및 문자 분할을 표현하는 단어 라티스를 신경망의 입력으로 활용하여 더 rich하고 맥락 인식 기반의 특징 학습을 탐색한다.
• 단일 분할에 의존하지 않고 다중 분해능 표현을 활용하여 문서 기반 및 지식 기반 중국어 질의응답에서의 매칭 성능을 향상시킨다.
• 복잡한 라티스 구조에서 분류 가능한 특징을 포착하면서도 강한 노이즈 내성성을 유지하는 확장성 있고 효율적인 딥러닝 프레임워크를 개발한다.

제안 방법

• 질의문과 후보 답변 쌍을 공유 가중치를 가진 시아모이 아키텍처로 처리하여 매칭 점수 예측을 수행한다.
• 고정된 단어 또는 문자 시퀀스 대신, 각각의 가능한 단어와 문자가 노드로 표현되고 맥락 인식 연결을 가진 단어 라티스를 입력으로 사용한다.
• 다양한 분해능에서 동시에 n-그램 특징을 추출하기 위해 동적 커널 크기를 가진 컨볼루션 레이어를 적용하여 단어 및 문자 수준에서 맥락 인식 특징 학습을 가능하게 한다.
• 다양한 맥락의 특징을 선택적으로 집계하기 위해 게이트드 풀링 메커니즘을 활용하여 노이즈 내성성을 향상시키고 특징의 분류 능력을 향상시킨다.
• 로컬 및 글로벌 문장 수준의 의미를 유지하는 데 중점을 두고, 횡방향 연결과 풀링 연산을 통해 다중 분해능 표현을 통합한다.
• 대조 손실을 사용하여 엔드 투 엔드로 훈련함으로써 관련 질의-응답 쌍 간의 매칭 점수를 최적화하고, 노이즈가 많은 라티스 입력에 대한 과적합을 최소화한다.

실험 결과

연구 질문

• RQ1 신경망 모델은 단어 라티스에서 유래한 다중 분해능 정보를 효과적으로 활용하여 중국어 텍스트 매칭 성능을 향상시킬 수 있는가?
• RQ2 기존의 단어 수준 또는 문자 수준 모델과 비교할 때, 라티스 기반 CNN 아키텍처는 단어 분할의 모호성과 표현 다양성을 어떻게 다루는가?
• RQ3 라티스 기반 모델링은 문서 기반 및 지식 기반 중국어 질의응답 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ4 기본 CNN 또는 RNN과 비교할 때, 제안된 LCN 모델은 노이즈가 많거나 모호한 라티스 입력에 대해 내성성을 유지하는가?
• RQ5 어휘 및 언어 모델 기반의 라티스 구축 전략은 다수의 분할을 조합하거나 문자 수준 임베딩을 결합하는 하이브리드 접근 방식을 능가하는가?

주요 결과

• LCNs는 문서 기반 및 지식 기반 중국어 질의응답 벤치마크에서 최신 기술(SOTA) 매칭 모델과 강력한 CNN 기반 모델을 크게 능가한다.
• 모델은 라티스 입력에서 다중 분해능 특징을 효과적으로 포착함으로써 다양한 표현 간의 보다 나은 정렬을 가능하게 하여 뛰어난 성능을 달성한다.
• 실험 결과 어휘 기반 라티스 생성 전략이 여러 분할을 조합하거나 문자 수준 입력을 결합하는 전략보다 우수함을 입증하여, 구조화된 라티스 표현의 가치를 보여준다.
• 게이트드 풀링 메커니즘과 동적 컨볼루션 커널이 노이즈 내성성을 향상시켜 분할 오류에 대한 민감도를 감소시킨다.
• 사례 연구를 통해 LCNs는 단어와 문자 간의 공시도 패턴을 활용하여 핵심 의미 단위(예: 'YongHu'를 'user'로, 'WangZhan'을 'website'로)를 정확히 식별할 수 있음을 보여준다.
• 단어 겹침이 최소일 때조차 LCNs는 표면적 어휘 매칭을 넘어서 의미 유사도를 추론할 수 있음을 입증하여 강력한 성능을 달성한다.