[論文レビュー] STAGER checklist: Standardized Testing and Assessment Guidelines for Evaluating Generative AI Reliability

Jinghong Chen, Lingxuan Zhu+6 more|arXiv (Cornell University)|Dec 8, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本論文は、医療分野における生成AIの信頼性を体系的に評価するための標準化された23項目のフレームワーク「STAGERチェックリスト」を紹介する。多分野のレビューと専門家の合意形成を通じて開発された本チェックリストは、質問設計、クエリ処理、評価の各段階を支援し、医療分野におけるAI研究の方法論的厳密性とレポート品質を向上させる。

ABSTRACT

Generative Artificial Intelligence (AI) holds immense potential in medical applications. Numerous studies have explored the efficacy of various generative AI models within healthcare contexts, but there is a lack of a comprehensive and systematic evaluation framework. Given that some studies evaluating the ability of generative AI for medical applications have deficiencies in their methodological design, standardized guidelines for their evaluation are also currently lacking. In response, our objective is to devise standardized assessment guidelines tailored for evaluating the performance of generative AI systems in medical contexts. To this end, we conducted a thorough literature review using the PubMed and Google Scholar databases, focusing on research that tests generative AI capabilities in medicine. Our multidisciplinary team, comprising experts in life sciences, clinical medicine, medical engineering, and generative AI users, conducted several discussion sessions and developed a checklist of 23 items. The checklist is designed to encompass the critical evaluation aspects of generative AI in medical applications comprehensively. This checklist, and the broader assessment framework it anchors, address several key dimensions, including question collection, querying methodologies, and assessment techniques. We aim to provide a holistic evaluation of AI systems. The checklist delineates a clear pathway from question gathering to result assessment, offering researchers guidance through potential challenges and pitfalls. Our framework furnishes a standardized, systematic approach for research involving the testing of generative AI's applicability in medicine. It enhances the quality of research reporting and aids in the evolution of generative AI in medicine and life sciences.

研究の動機と目的

• 生成AIの医療分野における評価フレームワークが不足しているという問題に対処すること。
• 医療応用の生成AIを評価する研究における方法論的質を向上させること。
• 質問設計や結果評価といった主要な次元をカバーする、標準化され包括的なチェックリストを開発すること。
• 医療分野における生成AIシステムのテストとレポートで一般的に見られる落とし穴を回避するのを研究者に支援すること。
• ライフサイエンスおよび臨床医学分野におけるより信頼性が高く再現可能で信頼できるAI研究の発展を促進すること。

提案手法

• 生成AIの医療分野における評価を対象とする研究を同定するために、PubMedおよびGoogle Scholarを用いた体系的文献レビューを実施した。
• ライフサイエンス、臨床医学、医療工学、AI分野の専門家から成る多分野チームを編成し、チェックリスト開発を指揮した。
• 専門家チームによる繰り返しの議論と合意形成を通じて、23の重要な評価項目を同定した。
• 質問収集から結果評価までの体系的ワークフローに沿って、研究者を導くようにチェックリストを構造化した。
• 質問の構築、クエリ手法、評価技術といった主要な次元に焦点を当て、包括的な評価を保証した。
• 多様な医療AI応用および研究環境に適応可能なフレームワークとして設計された。

実験結果

リサーチクエスチョン

• RQ1 医療分野における生成AIのパフォーマンスを、より高い方法論的厳密性でどのように評価できるか。
• RQ2 現在の医療分野における生成AIを評価する研究における主な方法論的欠陥は何か。
• RQ3 信頼性が高く再現可能な医療分野における生成AIの評価に不可欠な標準化された要素は何か。
• RQ4 チェックリストは、医療分野におけるAI評価研究のレポートの一貫性と質をどのように向上させられるか。
• RQ5 臨床およびライフサイエンス分野における生成AIの信頼性を包括的に評価するには、どのようなフレームワーク構成が必要か。

主な発見

• STAGERチェックリストは、医療分野における生成AIの評価のすべての主要段階をカバーする23の標準化された項目から構成される。
• フレームワークは専門家の合意と体系的文献レビューを通じて開発されており、関連性と方法論的妥当性が保証されている。
• チェックリストは、質問収集から結果評価までの明確な段階的プロセスを提供し、方法論的落とし穴を低減する。
• 透明性、再現可能性、体系的評価の促進により、研究レポートの質が向上する。
• チェックリストは、特に質問設計と評価手法の分野における現在の評価実務の重大なギャップを埋めている。
• フレームワークは多様な医療AI応用に適用可能であり、信頼できる医療分野におけるAIの進化を支援する。