[논문 리뷰] A Study of Question Effectiveness Using Reddit "Ask Me Anything" Threads

Kristjan Arumae, Guo-Jun Qi외 1명|arXiv (Cornell University)|2018. 05. 25.

Expert finding and Q&A systems참고 문헌 19인용 수 3

한 줄 요약

이 논문은 레딧 'Ask Me Anything'(AMA) 스레드에서 호스트가 어떤 질문에 답변을 하는지를 예측하기 위해 맥락 인식 컨볼루션 신경망(CNN)을 제안한다. 대규모 40만 개 질문 데이터셋을 사용하여, 검증 세트 1만 개에서 53.7%의 F1 스코어를 기록했으며, 기준 모델들을 능가하고 인간 평가와의 높은 일치도를 보였다.

ABSTRACT

Asking effective questions is a powerful social skill. In this paper we seek to build computational models that learn to discriminate effective questions from ineffective ones. Armed with such a capability, future advanced systems can evaluate the quality of questions and provide suggestions for effective question wording. We create a large-scale, real-world dataset that contains over 400,000 questions collected from Reddit "Ask Me Anything" threads. Each thread resembles an online press conference where questions compete with each other for attention from the host. This dataset enables the development of a class of computational models for predicting whether a question will be answered. We develop a new convolutional neural network architecture with variable-length context and demonstrate the efficacy of the model by comparing it with state-of-the-art baselines and human judges.

연구 동기 및 목표

• 실세계 온라인 Q&A 환경에서 질문의 효과성을 자동으로 평가할 수 있는 계산 모델을 개발하는 것.
• 질문의 표현 방식과 맥락이 AMA 호스트가 질문에 답변할지 여부에 영향을 미치는지 조사하는 것.
• 커뮤니티 기반 Q&A 포럼에서 질문의 답변 가능성에 대해 연구하기 위한 대규모 실세계 데이터셋을 구축하는 것.
• 기계 예측 결과를 인간 평가자와 AMA 호스트 행동과 비교하여 모델 성능과 일치도를 평가하는 것.
• 특정 질문이 더 자주 답변받을 수 있도록 만드는 요소를 탐색하는 것, 이를 위해 의미적, 문법적, 주제적 특징을 고려함.

제안 방법

• 레딧 AMA 스레드에서 유저 질문, 스레드 제목, 호스트 인사말을 포함한 대규모 40만 개 질문 데이터셋을 구축함.
• 변동 길이의 맥락을 처리할 수 있는 새로운 맥락 인식 CNN 아키텍처를 설계하였으며, 다양한 필터 수를 가진 1~5-그램 필터 윈도우를 조합함.
• 지역적이고 분산된 의미 패턴을 모두 포착하기 위해, 유니그램, 바이그램, 트리그램 및 고차원 n-그램 특징의 조합을 사용해 모델을 훈련함.
• 검증 세트 1만 개를 사용해 모델 성능을 평가하고, 최신 기준 모델 및 인간 평가자와의 성능을 비교함.
• 아마존 메카니컬 터크를 통해 5명의 평가자가 동일한 AMA 스레드에서 유래한 300개의 질문 쌍을 평가하는 인간 평가 연구를 수행함.
• 인간 평가자들의 다수결 투표 결과를 인간 판단의 대체 지표로 사용하고, 모델 예측 결과를 인간 평가 및 호스트 행동과 비교함.

실험 결과

연구 질문

• RQ1 어떤 질문의 특징이 AMA 호스트가 답변할 가능성을 높이는가?
• RQ2 딥 러닝 모델이 질문의 표현 방식과 맥락을 바탕으로 어떤 질문이 답변될지를 효과적으로 예측할 수 있는가?
• RQ3 인간 평가자들이 질문 효과성에 대해 내린 판단이 실제로 AMA 호스트의 선택과 얼마나 일치하는가?
• RQ4 모델의 예측 성능이 인간의 다수결 판단과 호스트 행동 중 어느 쪽과 더 유사한가?
• RQ5 학습 데이터 크기가 질문 답변 가능성 예측 모델의 일반화 능력과 안정성에 어떤 영향을 미치는가?

주요 결과

• 맥락 인식 CNN 모델은 검증 세트 1만 개에서 53.7%의 F1 스코어를 기록했으며, 개별 기준 CNN 모델과 최신 기준 방법들을 모두 능가함.
• 모델는 300개 필터와 1단어 윈도우에서 가장 높은 성능를 보였으며, 이는 예측에 유니그램 특징에 크게 의존하고 있음을 시사함.
• 인간 평가자들은 63%의 질문 쌍(5명 중 4명 이상 일치)에서 일치도를 보였으며, 30%는 5명 전원이 일치함.
• 인간 평가자들은 AMA 호스트의 선택과 55%의 일치도를 보였고, 모델는 인간 평가자와의 일치도(54.33%)가 호스트 선택과의 일치도(49.33%)보다 약간 높음.
• 학부생은 인간 평가자와 68.6%의 일치도를 보였으며, 이는 모델가 호스트 행동과의 일치도(49.33%)를 초월함.
• 학습 데이터 크기가 증가할수록 모델 성능이 점진적으로 향상되었고, 10만 개의 학습 샘플에서 53.7%의 F1 스코어로 최고 성능 기록함.