[논문 리뷰] Towards an AI to Win Ghana's National Science and Maths Quiz

George Boateng, Jonathan Abrefah Mensah외 5명|arXiv (Cornell University)|2023. 08. 08.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 가나의 국립 과학·수학 퀴즈(National Science and Maths Quiz)에서 승리할 수 있는 인공지능(AI)을 개발하기 위한 오픈소스 프로젝트인 NSMQ AI를 제시한다. 이 AI는 가나어 억양을 가진 음성 인식, 질문 응답, 음성 합성 기술을 숙련하여 실시간으로 수수께끼를 이해하고 응답할 수 있도록 설계되었다. 시스템은 미세조정된 대규모 언어 모델(LLMs)과 종단 간 TTS를 활용해 실시간으로 수수께끼를 이해하고 응답을 생성하며, 2023년 수수께끼 라운드에서 라이브 데뷔를 향해 진전을 보이고 있다.

ABSTRACT

Can an AI win Ghana's National Science and Maths Quiz (NSMQ)? That is the question we seek to answer in the NSMQ AI project, an open-source project that is building AI to compete live in the NSMQ and win. The NSMQ is an annual live science and mathematics competition for senior secondary school students in Ghana in which 3 teams of 2 students compete by answering questions across biology, chemistry, physics, and math in 5 rounds over 5 progressive stages until a winning team is crowned for that year. The NSMQ is an exciting live quiz competition with interesting technical challenges across speech-to-text, text-to-speech, question-answering, and human-computer interaction. In this ongoing work that began in January 2023, we give an overview of the project, describe each of the teams, progress made thus far, and the next steps toward our planned launch and debut of the AI in October for NSMQ 2023. An AI that conquers this grand challenge can have real-world impact on education such as enabling millions of students across Africa to have one-on-one learning support from this AI.

연구 동기 및 목표

• 가나의 국립 과학·수학 퀴즈(NSMQ)에서 최고 수준의 인간 참가자들을 능가할 수 있는 AI를 개발하는 것. 이는 높은 압박감이 동반되는 실시간 과학 및 수학 경쟁이다.
• 가나어 억양을 가진 음성 인식에서의 핵심 과제를 해결하는 것 — 정확하고 신속한 질문 응답 기술, 그리고 지역적 언어적 특징을 반영한 자연스러운 음성 합성 기술.
• 교사 부족과 높은 학생-교사 비율로 학습이 어려운 아프리카 교육 환경에서 AI의 실용적 응용을 위한 실제 기준을 마련하는 것.
• 시간 압박 속에서 복잡한 다단계 수수께끼를 해결할 수 있는 능력을 갖춘 AI를 통해 아프리카 학생들에게 확장 가능한 일对일 AI 맞춤 교육을 가능하게 하는 것.
• 실시간 퀴즈 성능을 위한 STT, QA, TTS를 통합한 오픈소스 종단 간 시스템을 구축하고, 2023년 NSMQ 수수께끼 라운드에서의 배포를 계획하는 것.

제안 방법

• 시스템은 실시간으로 수수께끼의 단서를 처리하고 응답하는 데 사용되는 웹 애플리케이션 파이프라인을 활용하며, 음성 인식(STT), 질문 응답(QA), 음성 합성(TTS) 모듈을 통합한다.
• STT를 위해 팀은 과거 NSMQ 음성 자료와 텍스트를 기반으로 오픈소스 Whisper 모델을 미세조정하여 가나어 억양의 음성에 대해 정확도를 높이고 지연 시간을 최소화한다.
• QA 시스템은 이중 단계 접근 방식을 사용한다. 과학 문서 코퍼스에서 의미적 검색을 위해 Sentence-BERT를 활용하고, 프롬프트 엔지니어링을 통해 Falcon-7b-instruct를 활용해 생성형 답변을 생성한다.
• TTS 시스템은 VITS 종단 간 모델을 활용하며, 두 명의 가나인 화자 음성 샘플을 기반으로 미세조정하여 자연스럽고 억양에 정확한 음성 출력을 생성한다.
• 파이프라인은 자동으로 수수께끼 시작을 감지하고, 신뢰도 점수와 단서 진행 상황을 기반으로 응답 시점을 최적화하도록 설계되어 있다.
• 시스템은 저지연 추론을 지원하는 클라우드 호스팅 웹 애플리케이션에 배포되어 있으며, 데모 모드와 실시간 퀴즈 모드를 모두 지원한다.

실험 결과

연구 질문

• RQ1 AI 시스템은 가나의 NSMQ처럼 높은 압박감이 동반되는 실시간 과학·수학 퀴즈 대회에서 인간 수준의 성능을 달성할 수 있는가?
• RQ2 어떻게 하면 음성 인식 모델을 가나어 억양의 수수께끼를 최소한의 지연 시간으로 정확하게 변환하도록 적응시킬 수 있는가?
• RQ3 다중 단계의 단서를 가진 수수께끼를 해결할 때, 특히 단서가 점점 더 구체화될 경우 속도와 정확도를 균형 있게 유지할 수 있는 전략은 무엇인가?
• RQ4 제한된 미세조정 데이터로도 과학적으로 정확하고 자연스러운 리듬의 가나어 억양 음성 합성 모델을 생성할 수 있는가?
• RQ5 통합된 오픈소스 AI 파이프라인이 가나의 NSMQ 최종 수수께끼 라운드에서 인간 학생들을 능가할 수 있는 정도는 어느 정도인가?

주요 결과

• NSMQ AI 시스템은 미세조정된 Whisper 모델을 활용해 가나어 억양의 수수께끼 단서를 실시간으로 변환하는 데 성공했으며, 단어 오류율과 지연 시간에서 측정 가능한 향상을 이뤘다.
• 프롬프트 엔지니어링을 적용한 Falcon-7b-instruct 기반 QA 파이프라인은 NSMQ 수수께ickness에 대해 높은 관련성으로 정확한 답변을 생성했으며, 과학적 맥락에서 생성형 QA의 가능성을 입증했다.
• 두 명의 가나인 화자 데이터를 기반으로 미세조정한 VITS 기반 TTS 모델은 평균 평가 점수(Mean Opinion Score)가 참값에 가까워 자연스럽고 억양에 정확한 음성 출력을 생성했다.
• 시스템은 자동으로 수수께끼 시작을 감지하고, 신뢰도 점수를 통합해 최적의 응답 시점을 결정함으로써 조기 또는 잘못된 응답을 줄였다.
• 초기 평가 결과, 종단 간 파이프라인이 실시간으로 수수께ickness를 처리하고 응답할 수 있으며, 데이터 기반의 모델 미세조정을 통해 성능 지표가 향상되고 있음을 확인했다.
• 프로젝트는 STT, QA, TTS 모듈을 분리된 구성 요소로 갖춘 포괄적인 오픈소스 프레임워크를 구축했으며, 커뮤니티 기여와 향후 확장성을 보장한다.