[논문 리뷰] Ranking Clarifying Questions Based on Predicted User Engagement

Tom Lotze, Stefan Klut외 2명|arXiv (Cornell University)|2021. 03. 10.

Advanced Text Analysis Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 BERT 임bedding과 회귀/분류 모델을 활용하여 질문, 질문, 답변 등의 어휘적 특징만을 사용해 사용자 참여도를 예측함으로써 대화형 검색에서 명확화 패널의 순서를 매기는 방법을 제안한다. 예측된 참여도는 순서 매김 성능을 크게 향상시키며, RankNet에 특징으로 사용되었을 때 NDCG가 0.611에서 0.620으로 상승한다.

ABSTRACT

To improve online search results, clarification questions can be used to elucidate the information need of the user. This research aims to predict the user engagement with the clarification pane as an indicator of relevance based on the lexical information: query, question, and answers. Subsequently, the predicted user engagement can be used as a feature to rank the clarification panes. Regression and classification are applied for predicting user engagement and compared to naive heuristic baselines (e.g. mean) on the new MIMICS dataset [20]. An ablation study is carried out using a RankNet model to determine whether the predicted user engagement improves clarification pane ranking performance. The prediction models were able to improve significantly upon the naive baselines, and the predicted user engagement feature significantly improved the RankNet results in terms of NDCG and MRR. This research demonstrates the potential for ranking clarification panes based on lexical information only and can serve as a first neural baseline for future research to improve on. The code is available online.

연구 동기 및 목표

• 실제 사용자 상호작용 데이터가 확보되지 않은 상황에서 대화형 검색에서 명확화 패널의 순서를 매우 어려운 과제를 해결한다.
• 질문, 질문, 답변의 어휘적 정보만을 사용해 사용자 참여도를 예측함으로써 관련성의 대체 지표를 개발한다.
• 실제 사용자 클릭 데이터에 의존하지 않고도 향후 명확화 패널 순서 매김 연구를 위한 신경망 기반 기준 성능을 수립한다.
• 예측된 사용자 참여도가 명확화 패널의 러닝-투-랭크 성능을 향상시킬 수 있는지 조사한다.
• 스마트폰이나 음성 기반 검색 인터페이스에서 사용자 경험을 향상시키기 위해 완전히 어휘 기반의 솔루션을 제공한다.

제안 방법

• 질문-질문-답변 트리플의 BERT 및 TF-IDF 임베딩을 사용해 사용자 참여도(PUE)를 예측하는 회귀 및 분류 모델을 훈련한다.
• 명확화 패널과의 사용자 상호작용 데이터를 포함한 MIMICS 데이터셋을 사용해 PUE 모델을 훈련하고 평가한다.
• RankNet을 사용한 추론 분석을 수행하여 예측된 사용자 참여도를 특징으로 사용하는지 여부에 따라 성능을 비교한다.
• 초기화수치 최적화를 통해 노이즈를 줄이고, 저시야성 인스턴스를 제거하기 위해 인스턴스 수준의 필터를 적용한다.
• 보류된 테스트 세트에서 NDCG와 MRR 지표를 사용해 최종 순서 매김 모델을 평가한다.
• 두 단계 파이프라인을 사용한다: 먼저 참여도를 예측하고, 그 예측 결과를 러닝-투-랭크 모델의 특징으로 활용한다.

실험 결과

연구 질문

• RQ1 질문, 질문, 답변의 어휘적 특징만을 사용해 명확화 패널에서의 사용자 참여도를 회귀 또는 분류 작업으로 정확하게 예측할 수 있으며, 이는 단순 기준 모델과 비교해 어떻게 다를까?
• RQ2 명확화 패널의 사용자 참여도 예측에서 BERT 임베딩과 TF-IDF 표현 방식 간의 성능 차이는 어떠한가?
• RQ3 예측된 사용자 참여도가 NDCG와 MRR로 측정된 러닝-투-랭크 설정에서 명확화 패널의 순서 매김 성능을 향상시킬 수 있는가?

주요 결과

• 사용자 참여도를 예측하기 위한 회귀 모델은 단순 기준 모델(예: 평균 예측)보다 유의미하게 뛰어나며, 어휘적 특징이 참여도 예측에 유의미한 신호를 담고 있음을 입증한다.
• 회귀 및 분류 작업 모두에서 BERT 임베딩이 TF-IDF 표현 방식보다 뛰어나며, 명확화 콘텐츠의 의미적 뉘앙스를 더 잘 포착함을 시사한다.
• 추론 분석 결과, 예측된 사용자 참여도를 RankNet의 특징으로 사용할 경우 NDCG가 0.611에서 0.620으로 상승했으며(p-value = 0.0008), 이는 순서 매김에 효과적임을 입증한다.
• MRR 역시 예측된 참여도를 사용할 경우 0.607에서 0.620으로 유의미하게 향상되었으며(p-value = 0.011), 다양한 지표에서 일관된 성능 향상을 확인했다.
• 이중 분류 버전이 11개 클래스 분류 버전보다 더 뛰어난 성능을 보였으며, 이는 클래스 불균형 감소와 더 나은 일반화 능력 때문일 것이다.
• 예측의 어려움에도 불구하고 랜덤 기준 모델(NDCG ~0.47)에 비해 유의미한 성능 향상을 달성함으로써 제안된 접근법의 유용성을 입증했다.