[논문 리뷰] What Are People Asking About COVID-19? A Question Classification Dataset

Jerry Wei, C. F. Huang외 2명|arXiv (Cornell University)|2020. 05. 26.

Topic Modeling참고 문헌 16인용 수 27

한 줄 요약

이 논문은 13개의 출처에서 유래한 총 1,690개의 코로나19 관련 질문을 포함하고 있으며, 15개의 카테고리와 207개의 클러스터로 분류된 Covid-Q 데이터셋을 소개한다. 질문 분류 작업에서 BERT 기반 베이스라인 모델은 15개 카테고리, 클래스당 20개의 예제로 구성된 설정에서 58.1%의 정확도를 기록했으며, 삼중손실을 사용한 질문 클러스터링에서는 49.5%의 정확도를 달성하였다. 이는 패닉 기간 동안 정보 검색 및 모델 평가를 위한 자연어 처리 시스템 자원을 제공한다.

ABSTRACT

We present COVID-Q, a set of 1,690 questions about COVID-19 from 13 sources, which we annotate into 15 question categories and 207 question clusters. The most common questions in our dataset asked about transmission, prevention, and societal effects of COVID, and we found that many questions that appeared in multiple sources were not answered by any FAQ websites of reputable organizations such as the CDC and FDA. We post our dataset publicly at https://github.com/JerryWeiAI/COVID-Q. For classifying questions into 15 categories, a BERT baseline scored 58.1% accuracy when trained on 20 examples per category, and for a question clustering task, a BERT + triplet loss baseline achieved 49.5% accuracy. We hope COVID-Q can help either for direct use in developing applied systems or as a domain-specific resource for model evaluation.

연구 동기 및 목표

• 팬데믹 기간 동안 대중의 정보 필요를 더 잘 이해하기 위해 실제 공공 질문을 수집하고 주석 처리하기 위해.
• 공중 보건 위기 맥락에서 질문 이해 및 검색에 초점을 맞춘 NLP 모델을 훈련하고 평가하기 위한 구조화된 데이터셋을 만들기 위해.
• 일반 포럼에서 자주 제기되는 질문들과 CDC, FDA와 같은 신뢰할 수 있는 기관의 공식 FAQ 웹사이트 간의 격차를 메우기 위해.
• 시의적절하고 실제 세계의 건강 관련 질문 세트를 바탕으로 도메인 특화 NLP 모델을 평가하기 위한 벤치마크를 제공하기 위해.

제안 방법

• 공식 보건 기관의 FAQ와 Quora, Yahoo Answers와 같은 커뮤니티 기반 플랫폼을 포함한 13개의 출처에서 총 1,690개의 질문을 수집하였다.
• 질문을 전염성, 예방, 사회적 영향 등과 같은 15개의 의미적 카테고리로 주석 처리하고, 동일한 의도를 반영하는 207개의 클러스터로 그룹화하였다.
• 모호하거나 비논리적인 질문, 지역 특정 또는 시간 특정 질문을 제거하여 언어적 일관성과 중복을 줄이기 위해 데이터 정제를 수행하였다.
• 두 가지 작업을 위한 BERT 기반 모델을 훈련하였다: (1) 풀링된 BERT 임베딩에 SVM과 k-NN를 적용한 질문 카테고리 분류, (2) BERT 특징에 두 층의 신경망을 적용한 삼중손실 기반 질문 클러스터링.
• 클러스터링 작업에는 70/30 훈련-테스트 분할을, 분류 작업에는 실제 및 생성된 테스트 세트를 포함한 300/668/238 분할을 사용하였으며, 소규모 데이터에서의 성능 향상을 위해 데이터 증강을 적용하였다.
• 정확도를 평가 지표로 사용하였고, 클러스터링 작업에서는 기존 클러스터와 새로운 질문을 구분하기 위해 임계값 설정을 적용하였다.

실험 결과

연구 질문

• RQ1 사람들이 코로나19에 대해 자주 묻는 질문의 유형은 무엇이며, 이는 출처에 따라 어떻게 다를까?
• RQ2 CDC, FDA 등 공식 FAQ 웹사이트가 일반 포럼에서 자주 제기되는 질문들을 얼마나 잘 커버하고 있는가?
• RQ3 제한된 레이블 데이터(클래스당 20개 예제)로 BERT 기반 모델이 15개 의미 카테고리로 코로나19 질문을 분류하는 데 얼마나 효과적인가?
• RQ4 BERT 임베딩에 삼중손실 미세조정을 적용하면 의도 일치를 위한 제로샷 또는 패트샷 질문 클러스터링 성능이 향상되는가?
• RQ5 데이터 증강과 모델 아키텍처 선택은 자원이 제한된 질문 분류 및 클러스터링 작업의 성능에 어떤 영향을 미치는가?

주요 결과

• 가장 빈번한 질문 카테고리는 전파(27개), 사회적 영향(23개), 예방(20개), 증상(12개)이었으며, 이는 대중이 전파와 개인적 위험에 대해 우려하고 있음을 시사한다.
• 질문의 78% 이상이 다수의 질문을 포함하는 클러스터로 묶여 있어, 공공 질문 간에 중복과 의도의 유사성이 뚜렷하게 나타났다.
• 공식 FAQ 페이지가 널리 제공되어 있음에도 불구하고, 많은 공공 출처에서 자주 제기되는 질문들이 CDC, FDA 등 신뢰할 수 있는 기관의 답변에 포함되어 있지 않았다.
• BERT + SVM 기반 베이스라인은 카테고리당 20개의 훈련 예제만으로도 질문 분류 작업에서 58.1%의 정확도를 기록하여, 소수의 예제로도 가능성을 입증하였다.
• BERT + 삼중손실 모델은 질문 클러스터링 작업에서 49.5%의 정확도를 달성하였으며, 데이터 증강을 적용함으로써 성능 향상이 이루어졌다.
• 혼동 행렬을 분석한 결과, '예방'과 '사회적 대응' 카테고리가 자주 잘못 분류되었으며, 이는 공공 질문에서 의미의 모호성 또는 겹침이 존재함을 시사한다.