[논문 리뷰] Identifying Well-formed Natural Language Questions

Manaal Faruqui, Dipanjan Das|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 잘 구성된 자연어 질문을 식별하기 위한 새로운 작업을 소개하고, 새로 구축한 25,100개의 주석이 달린 쿼리 데이터셋을 기반으로 훈련된 신경망 분류기를 제시한다. 이 모델은 잘 구성된 질문과 잘 구성되지 않은 질문을 구분하는 데 70.7%의 정확도를 달성하며, 출력을 재정렬하는 데 사용될 경우 신경망 질문 생성 성능을 0.2 BLEU 점수 향상시킨다.

ABSTRACT

Understanding search queries is a hard problem as it involves dealing with "word salad" text ubiquitously issued by users. However, if a query resembles a well-formed question, a natural language processing pipeline is able to perform more accurate interpretation, thus reducing downstream compounding errors. Hence, identifying whether or not a query is well formed can enhance query understanding. Here, we introduce a new task of identifying a well-formed natural language question. We construct and release a dataset of 25,100 publicly available questions classified into well-formed and non-wellformed categories and report an accuracy of 70.7% on the test set. We also show that our classifier can be used to improve the performance of neural sequence-to-sequence models for generating questions for reading comprehension.

연구 동기 및 목표

• NLP 시스템에서 정확한 의도 이해를 방해하는 비공식적이고 문법적으로 잘못된 검색 쿼리를 처리하는 데 도전하는 것.
• 사용자 쿼리 내에서 잘 구성된 자연어 질문을 식별하기 위한 새로운 벤치마크 작업을 정의하고 수립하는 것.
• 이 새로운 작업을 지원하기 위해 잘 구성된 질문 확률이 함께 제공된 25,100개의 쿼리로 구성된 대규모 커뮤니티 주석 데이터셋을 구축하고 공개하는 것.
• 잘 구성된 질문 여부 분류가 후속 NLP 작업, 특히 신경망 질문 생성에서 개선에 기여하는 신호로 유용한지 보여주는 것.

제안 방법

• 각 쿼리당 5명의 커뮤니티 작업자로 구성된 팀이 Paralex 코퍼스에서 추출한 25,100개의 쿼리를 주석 처리하고, 일치도 기반으로 잘 구성된 질문 확률을 계산한다.
• 잘 구성됨을 정의하기 위해 세 가지 기준을 설정한다: 문법적 정확성, 명시적인 질문 구조, 철자 오류 부재.
• 각 쿼리에서 추출한 어휘적 및 문법적 특징을 사용하여 전방향 신경망 분류기를 훈련한다.
• 모델의 잘 구성된 질문 확률을 신경 시퀀스-투-시퀀스 질문 생성을 위한 분류 기반 재정렬 모델의 특징으로 사용한다.
• 개발 세트에서 BLEU 점수를 최적화하여 재정렬 모델을 최적화하며, 모델 신뢰도와 잘 구성된 질문 확률을 특징으로 조합한다.
• 최종 시스템을 3,850개의 쿼리로 구성된 테스트 세트와 BLEU-1 및 BLEU-4 지표를 사용하여 질문 생성에서 평가한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 사용자 쿼리가 잘 구성된 자연어 질문인지 정확히 분류할 수 있는가?
• RQ2 잘 구성된 질문 확률이 신경망 질문 생성 모델 성능 향상에 얼마나 효과적인 신호가 되는가?
• RQ3 어휘적 및 문법적 특징이 잘 구성된 질문 분류에 얼마나 기여하는가?
• RQ4 사람들의 판단은 잘 구성된 질문에 대해 얼마나 일관된가? 일치도가 신뢰도를 높이는가?
• RQ5 재정렬을 통해 문법적 정확성을 향상시키면 질문 생성에서 자동 평가 점수(예: BLEU)가 향상되는가?

주요 결과

• 제안된 분류기는 3,850개의 쿼리로 구성된 테스트 세트에서 70.7%의 정확도를 달성하여 이 새로운 작업에 대해 강력한 베이스라인을 제공한다.
• 데이터셋의 76.5%인 19,206개의 쿼리가 최소 4명의 주석자로부터 일치도를 보였으며, 잘 구성된 질문에 대한 높은 이면주석자 일致도를 나타낸다.
• 잘 구성된 질문 분류기를 사용하여 10개의 최상위 출력을 재정렬할 경우, 신경 시퀀스-투-시퀀스 질문 생성 모델의 성능이 0.2 BLEU-4 포인트 향상된다.
• 장거리 문법적 의존성, 예를 들어 'did'와 함께 과거형 동사의 주어-동사 일치 오류 등에 대해 모델이 어려움을 겪어 잘못 분류하는 경우가 있다.
• 매우 잘 구성된 질문이라도, 더 어색하지만 참조 문장과 더 잘 맞는 대안보다 낮은 BLEU 점수를 기록할 수 있어 유창성과 어휘 일치 사이의 상충 관계가 있음을 시사한다.
• 이 데이터셋은 http://goo.gl/language/query-wellformedness 에 공개되어 향후 쿼리 이해 및 질문 생성 분야의 연구를 가능하게 한다.