[논문 리뷰] Querent Intent in Multi-Sentence Questions

Laurie Burchell, Jie Chi외 3명|arXiv (Cornell University)|2020. 10. 18.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 사용자 의도를 반영하는 다문장 질문(MSQs)을 식별하기 위한 새로운 프레임워크를 제안한다. 이 프레임워크는 말하는 이의 의도에 기반해 MSQ를 다섯 가지 논의 관계 유형—분리형, 동의어형, 배타형, 조건형, 대조형—으로 분류한다. 스택 오버플로우에서 유래한 162,745개의 MSQ로 구성된 대규모 데이터셋을 활용하여 표면 수준의 대조적 특징을 기반으로 한 고정밀도 규칙 기반 분류기를 개발하였으며, 이는 82.9%의 정밀도를 달성했지만 재현율은 26.5%에 그쳐 실제 MSQ에서 암묵적인 관계가 흔히 존재함을 시사한다.

ABSTRACT

Multi-sentence questions (MSQs) are sequences of questions connected by relations which, unlike sequences of standalone questions, need to be answered as a unit. Following Rhetorical Structure Theory (RST), we recognise that different "question discourse relations" between the subparts of MSQs reflect different speaker intents, and consequently elicit different answering strategies. Correctly identifying these relations is therefore a crucial step in automatically answering MSQs. We identify five different types of MSQs in English, and define five novel relations to describe them. We extract over 162,000 MSQs from Stack Exchange to enable future research. Finally, we implement a high-precision baseline classifier based on surface features.

연구 동기 및 목표

• 자연어에서 흔한 다문장 질문(MSQs)에 대해 질문-답변 시스템에서 다루지 않은 연구 격차를 해소하기 위해.
• 사용자의 의도에 맞는 답변 전략을 반영하는 논의 관계의 기반으로 다섯 가지 명확한 MSQ 유형을 정의하기 위해.
• 미래 연구를 지원하기 위해 스택 오버플로우에서 추출한 162,745개의 MSQ로 구성된 대규모, 다양한, 공개 가능한 데이터셋을 구축하기 위해.
• 표면 수준의 특징을 사용해 MSQ 내의 명시적 논의 관계를 식별하는 기초 분류기를 개발하기 위해.
• 현재의 QA 시스템이 MSQ를 독립된 질문으로 간주할 경우, 답변 전략이 맞지 않아 실패하는 이유를 입증하기 위해.

제안 방법

• 저자들은 논의 구조 이론(RST)에 기반해 다섯 가지 MSQ 유형을 정의하며, 각각 다른 사용자 의도와 필요한 답변 전략을 반영한다.
• 질문 기반 데이터 수집을 통해 93개의 스택 오버플로우 사이트에서 162,745개의 두 문장 질문 MSQ를 추출하며, 문장 부호, 길이, 언어 등을 필터링한다.
• 이중 대조적 특징(예: 논의 마커,标점, 질문 구조의 유무 등)을 사용해 다섯 가지 MSQ 유형을 구분하는 규칙 기반 분류기를 구축한다.
• 각 MSQ 유형은 고유한 특징 마스크를 할당받으며, 이는 특정 특징이 필요, 금지, 또는 무시됨을 지정하여 상호 배타성을 보장한다.
• 정밀도와 재현율을 지표로 사용해 수작업 애너테이션된 테스트 세트 271개의 MSQ에서 분류기 성능을 평가한다.
• 시스템은 암묵적인 관계를 제외하고 명시적으로 신호가 된 관계에만 집중한다. 이는 복잡성과 모호성으로 인해 복잡하기 때문이다.

실험 결과

연구 질문

• RQ1 다문장 질문에서 사용자 의도는 논의 관계에 기반해 어떻게系통적으로 분류될 수 있는가?
• RQ2 실제 사용자 쿼리에서 다문장 질문의 가장 흔한 유형은 무엇인가?
• RQ3 표면 수준의 언어적 특징은 의도 기반 카테고리로 MSQ를 신뢰성 있게 분류할 수 있는가?
• RQ4 규칙 기반 분류기의 성능은 MSQ 유형 식별에서 인간 애너테이션과 비교해 어떻게 되는가?
• RQ5 MSQ는 어느 정도 암묵적으로 신호가 되는가? 그리고 이는 자동 분류에 어떤 영향을 미치는가?

주요 결과

• 분류기는 수작업 애너테이션 테스트 세트에서 82.9%의 정밀도를 기록하여 명시적으로 신호가 된 MSQ 유형을 식별하는 데 강력한 신뢰성을 보였다.
• 재현율은 26.5%로 낮아 실제 데이터에서 대부분의 MSQ가 암묵적으로 신호가 되어 있어 표면 특징만으로는 분류하기 어려운 것으로 나타났다.
• 배타형과 조건형 MSQ는 일반적으로 '또, 혹은'와 같은 명확한 논의 마커를 포함하므로 가장 자주 명시적으로 신호가 되었다.
• 분리형 MSQ는 가장 빈도가 높은 유형이지만 분류기가 잘 탐지하지 못해, 대부분의 경우 암묵적인 구조를 띠고 있음을 시사한다.
• 애너테이션 과정에서 많은 MSQ가 다중 의도를 포함하거나 정보적 내용이 없는 인사말 질문을 포함하고 있어 분류를 복잡하게 만들었다.
• 162,745개의 MSQ로 구성된 데이터셋은 공개되어 있으며, 향후 MSQ 이해 및 답변 연구에 있어 귀중한 자원이 된다.