[論文レビュー] Towards an AI to Win Ghana's National Science and Maths Quiz

George Boateng, Jonathan Abrefah Mensah+5 more|arXiv (Cornell University)|Aug 8, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、スクリプト音声認識、質問応答、およびガーナ風アクセントを用いた音声合成を習得することで、ガーナの国立科学数学クイズ（NSMQ）で優勝できるAIを開発するオープンソースプロジェクト「NSMQ AI」を提示する。本システムは、微調整された大規模言語モデル（LLM）とエンドツーエンドTTSを用いて、リアルタイムでなぞりの理解と応答生成を実現し、2023年のなぞりのラウンドでのライブデビューに向けて進展を示している。

ABSTRACT

Can an AI win Ghana's National Science and Maths Quiz (NSMQ)? That is the question we seek to answer in the NSMQ AI project, an open-source project that is building AI to compete live in the NSMQ and win. The NSMQ is an annual live science and mathematics competition for senior secondary school students in Ghana in which 3 teams of 2 students compete by answering questions across biology, chemistry, physics, and math in 5 rounds over 5 progressive stages until a winning team is crowned for that year. The NSMQ is an exciting live quiz competition with interesting technical challenges across speech-to-text, text-to-speech, question-answering, and human-computer interaction. In this ongoing work that began in January 2023, we give an overview of the project, describe each of the teams, progress made thus far, and the next steps toward our planned launch and debut of the AI in October for NSMQ 2023. An AI that conquers this grand challenge can have real-world impact on education such as enabling millions of students across Africa to have one-on-one learning support from this AI.

研究の動機と目的

• ガーナの国立科学数学クイズ（NSMQ）—高ストレスの生の科学・数学コンテスト—において、トップ人間プレイヤーを上回るAIを開発すること。
• ガーナ風アクセントによる音声認識の課題、なぞりのための正確で迅速な質問応答、および地域的言語的特徴を反映した自然な音声出力を解決すること。
• 教師不足と学生1人あたりの教師数の多さが学習を妨げるアフリカの教育的文脈において、AIの実用的ベンチマークを創出すること。
• 時間制限の下で複雑な複数の手がかりを含む科学・数学のなぞりを的確に解けるAIを実証することで、アフリカの学生にスケーラブルな1对1AIチューティングを可能にすること。
• 2023年NSMQなぞりのラウンドでのライブデビューを計画しており、STT、QA、TTSを統合したオープンソースでエンドツーエンドのシステムを確立すること。

提案手法

• 本システムは、生のなぞりの手がかりをリアルタイムで処理し、応答を生成するため、音声認識（STT）、質問応答（QA）、音声合成（TTS）モジュールを統合したウェブアプリケーションパイプラインを採用する。
• STTのため、チームは過去のNSMQ音声データとトランスクリプトを用いて、オープンソースのWhisperモデルを微調整し、ガーナ風アクセントの音声認識の正確性と遅延を改善した。
• QAシステムは二段階のアプローチを採用する：科学的コーパス上でSentence-BERTを用いた意味的検索と、プロンプト工学を用いたFalcon-7b-instructによる生成的応答生成。
• TTSシステムは、2名のガーナ人発話者から得た音声データを微調整したVITSエンドツーエンドモデルを活用し、自然でアクセントに忠実な音声出力を実現した。
• パイプラインは、なぞりの開始を自動で検出でき、信頼度スコアと手がかりの進行状況に基づいて応答タイミングを最適化するように設計されている。
• 本システムは、低遅延推論をサポートするクラウドホスティング型ウェブアプリにデプロイされており、デモモードとライブクイズモードの両方を対応可能としている。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは、ガーナのNSMQのような生の高ストレス環境の科学・数学クイズコンテストで人間並みのパフォーマンスを達成できるか？
• RQ2 どのようにして音声認識モデルを、最小限の遅延でガーナ英語アクセントのなぞりを正確にトランスクリプトできるように適合できるか？
• RQ3 複数の手がかりを含むなぞりを解く際、手がかりが段階的に特定的になる中で、スピードと正確性の両立を実現する戦略は何か？
• RQ4 限られた微調整データで、科学的に正確で自然なペースの音声をガーナ風アクセントで生成できるTTSモデルは、どの程度実現可能か？
• RQ5 統合的でオープンソースのAIパイプラインは、NSMQの最終なぞりのラウンドで人間の学生を上回る性能を示せるか？

主な発見

• NSMQ AIシステムは、微調整されたWhisperモデルを用いて、ガーナ風アクセントのなぞりの手がかりをリアルタイムでトランスクリプトすることに成功し、語誤り率と遅延の両面で明確な改善が確認された。
• プロンプト工学を用いたFalcon-7b-instructを活用したQAパイプラインは、NSMQのなぞりに対して高い関連性を示す正しい答えを生成し、科学的文脈における生成的QAの実現可能性を示した。
• 2名のガーナ人発話者データで微調整したVITSベースのTTSモデルは、平均評価スコア（MOS）が実際の音声に近く、自然さとアクセントの正確性の両面で優れた性能を示した。
• システムはなぞりの開始を自動検出でき、信頼度スコアを統合して最適な応答タイミングを決定し、早送りや誤った回答を低減した。
• 初期評価では、エンドツーエンドパイプラインがなぞりをリアルタイムで処理・応答可能であり、データ駆動型のモデル微調整によってパフォーマンス指標が向上していることが示された。
• 本プロジェクトは、STT、QA、TTSのモジュラー構成を備えた包括的なオープンソースフレームワークを確立し、コミュニティの貢献と将来的なスケーラビリティを可能にした。