[논문 리뷰] TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting

Ankur Gupta, Yash Varun외 6명|arXiv (Cornell University)|2021. 01. 31.

Misinformation and Its Impacts참고 문헌 20인용 수 9

한 줄 요약

TruthBot는 다국어, 의도 인식 기반의 대화형 챗봇으로, 주로 코로나19와 같은 주제에 대한 진실 탐색을 위해 의도 학습, 정제된 지식 검색, 가짜 뉴스 탐지 기능을 통합한다. 깊이 있는 신경망을 사용하여 사용자 질의를 FAQ, 가짜 뉴스, 일반 질의, 지역별 통계 등 네 가지 의도 유형으로 분류하고, 각각 전용 모듈로 라우팅하여 정제된 데이터베이스나 웹 검색을 통해 정확하고 검증된 정보를 제공한다. 이로 인해 IFCN 챗봇과 같은 기존 시스템보다 상당히 높은 응답 정확도와 사용자 만족도를 달성한다.

ABSTRACT

We present TruthBot, an all-in-one multilingual conversational chatbot designed for seeking truth (trustworthy and verified information) on specific topics. It helps users to obtain information specific to certain topics, fact-check information, and get recent news. The chatbot learns the intent of a query by training a deep neural network from the data of the previous intents and responds appropriately when it classifies the intent in one of the classes above. Each class is implemented as a separate module that uses either its own curated knowledge-base or searches the web to obtain the correct information. The topic of the chatbot is currently set to COVID-19. However, the bot can be easily customized to any topic-specific responses. Our experimental results show that each module performs significantly better than its closest competitor, which is verified both quantitatively and through several user-based surveys in multiple languages. TruthBot has been deployed in June 2020 and is currently running.

연구 동기 및 목표

• 코로나19 패닉과 같은 위기 상황에서 소셜 미디어에 퍼지는 오락성 정보 문제를 해결하기 위해 신뢰할 수 있는 정보를 단일 신뢰할 만한 소스에서 제공한다.
• 기존의 사실 확인 도구들이 수동 입력이나 앱 전환을 요구하여 사용자 참여도와 효과성이 떨어지는 점을 보완한다.
• FAQ, 가짜 뉴스 검증, 일반 질의, 지역별 통계와 같은 다양한 질의 유형을 하나의 대화 인터페이스 내에서 지원하는 통합 진실 탐색 시스템을 설계한다.
• 의도 분류와 모듈형, 맥락 인식 기반의 정보 검색 통합을 통해 다국어 환경에서 응답 정확도와 사용자 만족도를 향상시킨다.
• 특화된 기능을 가진 전문 시스템 대비 통합형 챗봇이 진실 탐색에 있어 실현 가능하고 우수한 성능을 보임을 입증한다.

제안 방법

• TruthBot은 깊이 있는 신경망을 사용하여 사용자 질의를 FAQ, 가짜 뉴스(FAKE), 일반 질의(GEN), 지역별 통계(AREASTAT) 등 네 가지 의도 유형 중 하나로 분류한다.
• 각 의도 유형은 전용 모듈로 연결된다: FAQ는 정제된 지식 기반을 사용하고, FAKE는 사실 확인 데이터베이스를 활용하며, GEN은 Google을 통한 웹 검색을 수행하고, AREASTAT는 정형 자료에서 지역별 데이터를 검색한다.
• 의도 신뢰도가 낮을 경우, 사용자의 의도를 명확히 하기 위해 후속 대화를 진행한 후 적절한 모듈로 라우팅한다.
• 모듈은 후행 로직을 갖추고 있다: FAQ 모듈이 실패할 경우 시스템은 자동으로 사실 확인 또는 웹 검색 모듈을 호출한다.
• 정답 응답과의 유사도를 평가하기 위해 텍스트 유사도 지표(예: BLEU, ROUGE)를 사용하여 응답의 관련성과 정확도를 평가한다.
• 사용자 평가는 만족도, 사용성, 신뢰성, 정밀도, 가치 등에 대한 설문 조사로 구성되며, 통계적 유의성은 t-검정을 통해 검증한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크 내에서 FAQ, 가짜 뉴스 검증, 일반 질의, 지역별 통계와 같은 다양한 진실 탐색 질의를 단일 대화형 AI 시스템이 효과적으로 처리할 수 있는가?
• RQ2 IFCN과 같은 기존 사실 확인 챗봇과 비교해 TruthBot의 응답 정확도와 사용자 만족도가 다양한 질의 유형에서 어떻게 다른가?
• RQ3 신뢰도 기반의 의도 분류 및 명확화 절차가 다국어, 실생활 환경에서 응답의 신뢰성과 관련성 향상에 얼마나 기여하는가?
• RQ4 사용자들은 TruthBot의 인터페이스를 기존 챗봇과 비교해 유용성, 사용 편의성, 신뢰성, 정밀도, 총합 가치 측면에서 어떻게 평가하는가?
• RQ5 모듈형, 의도 기반 아키텍처는 외부 시스템에 대한 의존도를 줄이면서도 진실 탐색 응용 프로그램에서 저지연, 고신뢰성 유지에 기여하는가?

주요 결과

• 가짜 뉴스 질의에서 TruthBot의 응답 정확도는 0.74를 기록했으며, IFCN 챗봇의 0.56보다 유의미하게 높았고, p-값 < 0.001로 통계적 유의성 확인.
• 일반 질의에서 TruthBot의 응답 정확도는 IFCN 대비 68.2% 높았고, FAQ에서는 35.64% 높아, 검색 및 관련성 측면에서 뛰어난 성능을 입증.
• 사용자 만족도 설문 조사에서 TruthBot은 AREASTAT, FAQ, GEN 질의에서 중앙값 5점을 기록했으며, IFCN은 중앙값 2점이었고, p-값 < 0.001.
• 가짜 뉴스 질의에서 TruthBot은 사용자 만족도 중앙값 4점을 기록해 IFCN의 3점보다 뛰어나, 더 명확한 정보 제공과 더 높은 신뢰성 인식을 반영.
• 인터페이스 평가 결과, TruthBot의 평균 평점은 유용성과 정밀도에서 IFCN 대비 2배 높았으며, 모든 p-값 < 0.00001로 강력한 통계적 유의성 확인.
• 다양한 언어와 질의 유형에서 뛰어난 성능을 보이며, 위기 상황에서의 진실 탐색을 위한 통합적이고 확장 가능한 솔루션으로서의 설계의 타당성과 우수성을 입증.