[論文レビュー] The Battle of LLMs: A Comparative Study in Conversational QA Tasks

Aryan Rangapur, Aman Rangapur|arXiv (Cornell University)|May 28, 2024

Artificial Intelligence in Law被引用数 5

ひとこと要約

ChatGPT、GPT-4、Gemini、Mixtral、Claudeを対象とした対話型QAの4データセットにおける比較評価。複数の指標と二段階生成パイプラインを使用し、正確さ、流暢さ、一貫性を評価。

ABSTRACT

Large language models have gained considerable interest for their impressive performance on various tasks. Within this domain, ChatGPT and GPT-4, developed by OpenAI, and the Gemini, developed by Google, have emerged as particularly popular among early adopters. Additionally, Mixtral by Mistral AI and Claude by Anthropic are newly released, further expanding the landscape of advanced language models. These models are viewed as disruptive technologies with applications spanning customer service, education, healthcare, and finance. More recently, Mistral has entered the scene, captivating users with its unique ability to generate creative content. Understanding the perspectives of these users is crucial, as they can offer valuable insights into the potential strengths, weaknesses, and overall success or failure of these technologies in various domains. This research delves into the responses generated by ChatGPT, GPT-4, Gemini, Mixtral and Claude across different Conversational QA corpora. Evaluation scores were meticulously computed and subsequently compared to ascertain the overall performance of these models. Our study pinpointed instances where these models provided inaccurate answers to questions, offering insights into potential areas where they might be susceptible to errors. In essence, this research provides a comprehensive comparison and evaluation of these state of-the-art language models, shedding light on their capabilities while also highlighting potential areas for improvement

研究の動機と目的

• 主要LLM（ChatGPT、GPT-4、Gemini、Mixtral、Claude）の対話型QAタスクでの性能を評価する。
• 大規模な応答を生成・評価するためのスケーラブルなパイプラインを開発・検証する。
• 標準的なNLP指標を用いて品質を定量化し、正確さ、関連性、一貫性などの限界を分析する。

提案手法

• 質問生成（パラフレーズ、拡張、QAコーパスからのサンプリング）と応答生成（LLM）という二段階パイプラインで広範な対話型QAカバレッジを実現。
• 4つの対話型QAベンチマーク（CoQA、DialFact、FaVIQ、CoDAH）を用いた評価。
• 定量的指標：BLEU、METEOR、BART、NIST、Jaccard、ROUGE-L、TER；チェーン・オブ・思考（Chain-of-Thought）、ゼロショット、3ショット設定を追加。
• Rawte et al. (2023) から適用されたHallucination Vulnerability Index (HVI) を用いて、エンティティの作成・置換に対するモデルの脆弱性を評価。

(a) CoQA

実験結果

リサーチクエスチョン

• RQ1 対話型QAタスクにおいて、ChatGPT、GPT-4、Gemini、Mixtral、Claude は正確さ、関連性、一貫性の点でどう比較されるか。
• RQ2 ショット設定（Zero-shot vs 3-shot）とChain-of-Thought推論がモデルの性能に与える影響はあるか。
• RQ3 同一文脈内での繰り返し質問に対するハルシネーションと一貫性は、これらのモデルでどう扱われるか。
• RQ4 対話型QAコーパスで評価した場合、これらのLLMに観察される限界と偏りは何か。

主な発見

• GPT-4とClaudeは、正確さ、関連性、一貫性の点でChatGPT-3、Gemini、Mixtralを上回る。
• GPT-4とClaudeは、Chain-of-Thought、Zero-Shot、3-Shot評価でより高い一貫性と文脈的関連性を示す。
• 全体の平均指標は、BLEUが約0.79、ROUGE-Lが約0.53程度で、一部評価ではデータセット間で顕著なばらつき。
• いくつかのモデル（特にChatGPT-3、Gemini、Mixtral）は、同一文脈下で一貫性に欠け、誤解を招く回答を出すことがあった。
• 本研究はハルシネーションの脆弱性を定量化するHVIを導入し、エンティティの作成と置換に対するモデル固有の傾向を報告する。

(b) CoDAH