[논문 리뷰] Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information

Sudha Rao, Hal Daumé|arXiv (Cornell University)|2018. 05. 12.

Topic Modeling인용 수 18

한 줄 요약

이 논문은 예상 최고 정보 가치(Expected Value of Perfect Information, EVPI)를 사용하여 명확화 질문에 대한 신경 기반 랭킹 모델을 제안한다. 좋은 질문은 그 응답이 게시물의 정보성 향상에 크게 기여할 것임을 암시하는 것으로 프레임워크화된다. 새로운 77,000개 샘플의 StackExchange 데이터셋에서 평가된 결과, 모델은 기준 모델들을 능가하여 유용한 명확화 질문을 효과적으로 랭킹함을 입증한다. 이는 EVPI 기반의 유티리티 추정이 실용적 질문 품질을 효과적으로 포착함을 보여준다.

ABSTRACT

Inquiry is fundamental to communication, and machines cannot effectively collaborate with humans unless they can ask questions. In this work, we build a neural network model for the task of ranking clarification questions. Our model is inspired by the idea of expected value of perfect information: a good question is one whose expected answer will be useful. We study this problem using data from StackExchange, a plentiful online resource in which people routinely ask clarifying questions to posts so that they can better offer assistance to the original poster. We create a dataset of clarification questions consisting of ~77K posts paired with a clarification question (and answer) from three domains of StackExchange: askubuntu, unix and superuser. We evaluate our model on 500 samples of this dataset against expert human judgments and demonstrate significant improvements over controlled baselines.

연구 동기 및 목표

• 게시물의 정보성 향상에 기여할 잠재적 유티리티를 기반으로 명확화 질문을 랭킹하는 신경망 모델을 개발하는 것.
• 협업 환경에서 사용자 질문을 해결하는 데 가장 도움이 될 만한 누락된 정보를 식별하는 과제를 해결하는 것.
• 이 작업을 지원하기 위해 StackExchange에서 유래한 대규모 전문가 애너테이션 기반의 명확화 질문 데이터셋을 구축하는 것.
• 의사결정 이론 원리(EVPI)를 딥러닝과 융합하여 인간-기계 협업에서의 실용적 질문 랭킹을 수행하는 것.
• 콘텐츠 생성 과정에서 수동적으로 명확화 질문을 제안함으로써 응답 효율성을 향상시키는 시스템을 가능하게 하는 것.

제안 방법

• 유티리티가 게시물 정보성 향상의 기대치로 정의되는 예상 최고 정보 가치(Expected Value of Perfect Information, EVPI)를 사용하여 후보 명확화 질문을 랭킹하는 작업으로 설정한다.
• 게시물과 질문이 주어졌을 때 각 응답의 확률을 추정하기 위해 신경망을 사용하며, 이를 P(a_j | p, q_i)로 모델링한다.
• 특정 응답이 주어졌을 때 게시물이 얼마나 더 완성도 있게 되는지 측정하기 위해 신경망 기반 유티리티 함수 U(p + a_j)를 사용한다.
• 정확도와 관련성 양자를 동시에 최적화하기 위해 기울기 전파가 가능한 손실 함수를 사용하여 답변 확률 모델과 유티리티 모델을 함께 훈련시킨다.
• 유사한 StackExchange 게시물을 검색하여 후보 질문과 응답을 생성하며, 후보 생성에 Lucene 기반 유사도를 활용한다.
• 질문 맥락과 응답을 일치시키기 위해 답변 표현 학습을 적용하며, 원본 및 다듬어진(다시 표현된) 응답을 지도로 사용한다.

실험 결과

연구 질문

• RQ1 질문이 실제로 제기되기 전에 그 명확화 질문의 기대 유티리티를 어떻게 모델링할 수 있는가?
• RQ2 어떤 신경망 아키텍처가 게시물 정보성 향상에 기여하는 질문의 실용적 가치를 가장 잘 포착하는가?
• RQ3 EVPI 기반 유티리티 추정이 명확화 질문 랭킹에서 강력한 기준 모델을 능가할 수 있는가?
• RQ4 이 모델은 다양한 기술 Q&A 포럼 분야에 일반화될 수 있는가?
• RQ5 협업 문제 해결 과정에서 유용한 정보를 이끌어내기 위해 어떤 질문 특성이 더 유리한가?

주요 결과

• EVPI 기반 신경 모델은 전문가 애너테이션 기반 테스트 세트에서 통제된 기준 모델들을 뚜렷이 능가하며, 유용한 명확화 질문의 랭킹 성능 향상을 입증한다.
• 모델은 원본 명확화 질문을 검색하는 작업과 후보 집합에서 전문가 평가 기준으로 좋은 질문을 식별하는 작업 양쪽에서 뛰어난 성능을 기록한다.
• 약 77,000개의 (게시물, 질문, 응답) 트리플로 구성된 제안된 데이터셋은 명확화 질문 랭킹 모델의 강력한 훈련과 평가를 가능하게 한다.
• EVPI와 딥러닝의 융합은 실용적 질문 선택을 효과적으로 모델링하며, 관련성과 정보성의 균형을 잘 반영한다.
• 사람의 애너테이션 결과는 모델 예측이 전문가 판단과 일치함을 확인하며, 특히 너무 구체적이거나 관련성이 없는 질문보다 넓고 답변 가능한 질문을 선호하는 경향을 보인다.
• 모델은 AskUbuntu, Unix, Superuser 등 다양한 분야로 일반화되며, 기술 용어나 사용자 행동의 변동성에 대해 뛰어난 내재적 안정성을 보인다.