[논문 리뷰] STAGER checklist: Standardized Testing and Assessment Guidelines for Evaluating Generative AI Reliability

Jinghong Chen, Lingxuan Zhu외 6명|arXiv (Cornell University)|2023. 12. 08.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 의료 적용 분야에서 생성형 AI의 신뢰성을 체계적으로 평가하기 위한 표준화된 23개 항목의 프레임워크인 STAGER 체크리스트를 소개한다. 다학제적 검토와 전문가 합의를 통해 개발된 이 체크리스트는 연구자가 질문 설계, 질의, 평가 과정을 안내하여 의료 AI 연구의 방법론적 엄밀함과 보고 품질을 향상시킨다.

ABSTRACT

Generative Artificial Intelligence (AI) holds immense potential in medical applications. Numerous studies have explored the efficacy of various generative AI models within healthcare contexts, but there is a lack of a comprehensive and systematic evaluation framework. Given that some studies evaluating the ability of generative AI for medical applications have deficiencies in their methodological design, standardized guidelines for their evaluation are also currently lacking. In response, our objective is to devise standardized assessment guidelines tailored for evaluating the performance of generative AI systems in medical contexts. To this end, we conducted a thorough literature review using the PubMed and Google Scholar databases, focusing on research that tests generative AI capabilities in medicine. Our multidisciplinary team, comprising experts in life sciences, clinical medicine, medical engineering, and generative AI users, conducted several discussion sessions and developed a checklist of 23 items. The checklist is designed to encompass the critical evaluation aspects of generative AI in medical applications comprehensively. This checklist, and the broader assessment framework it anchors, address several key dimensions, including question collection, querying methodologies, and assessment techniques. We aim to provide a holistic evaluation of AI systems. The checklist delineates a clear pathway from question gathering to result assessment, offering researchers guidance through potential challenges and pitfalls. Our framework furnishes a standardized, systematic approach for research involving the testing of generative AI's applicability in medicine. It enhances the quality of research reporting and aids in the evolution of generative AI in medicine and life sciences.

연구 동기 및 목표

• 생성형 AI가 의료 맥락에서 사용될 때 체계적인 평가 프레임워크가 부족한 문제를 해결하기 위해.
• 의료 응용 분야의 생성형 AI를 평가하는 연구의 방법론적 품질을 향상시키기 위해.
• 질문 설계 및 결과 평가와 같은 핵심 차원에서 AI 성능을 평가하기 위한 표준화되고 종합적인 체크리스트를 개발하기 위해.
• 의료 분야에서 생성형 AI 시스템을 테스트하고 보고할 때 흔히 발생하는 함정을 피할 수 있도록 연구자들을 지원하기 위해.
• 생명과학 및 임상의학 분야에서 더 신뢰할 수 있고 재현 가능하며 신뢰성 있는 AI 연구를 촉진하기 위해.

제안 방법

• 의료 분야에서 생성형 AI를 평가하는 연구를 식별하기 위해 PubMed와 Google Scholar를 활용한 체계적 문헌 검토를 수행하였다.
• 생명과학, 임상의학, 의료공학, AI 분야의 전문가로 구성된 다학제적 팀을 구성하여 체크리스트 개발을 이끌었다.
• 전문가 팀 간의 반복적 토론과 합의 수립을 통해 23개의 핵심 평가 항목을 도출하였다.
• 질문 수집에서 결과 평가에 이르기까지 체계적인 워크플로우를 안내할 수 있도록 체크리스트를 체계적으로 구성하였다.
• 질문 구성, 질의 방법론, 평가 기법과 같은 핵심 차원에 집중하여 종합적인 평가를 보장하였다.
• 다양한 의료 AI 응용 분야와 연구 환경에 적응 가능한 프레임워크로 설계되었다.

실험 결과

연구 질문

• RQ1 의료 적용 분야에서 생성형 AI의 성능을 더 체계적인 방법론으로 평가하는 방법은 무엇인가?
• RQ2 현재 의료용 생성형 AI를 평가하는 연구에서 드러나는 주요 방법론적 결함는 무엇인가?
• RQ3 의료용 생성형 AI의 신뢰성 있고 재현 가능한 평가를 위해 필수적인 표준화된 구성 요소는 무엇인가?
• RQ4 체크리스트가 의료 분야에서 AI 평가 연구의 보고 일관성과 품질을 향상시키는 데 어떻게 기여할 수 있는가?
• RQ5 임상 및 생명과학 맥락에서 생성형 AI의 신뢰성을 종합적으로 평가하기 위해 필요한 프레임워크 구성 요소는 무엇인가?

주요 결과

• STAGER 체크리스트는 의료 맥락에서 생성형 AI를 평가하는 데 필요한 모든 핵심 단계를 다루는 23개의 표준화된 항목을 포함한다.
• 프레임워크는 전문가 합의와 체계적 문헌 검토를 통해 개발되어 관련성과 방법론적 타당성이 확보되었다.
• 체크리스트는 질문 수집에서 결과 평가에 이르기까지 명확한 단계별 경로를 제공하여 방법론적 함정을 줄였다.
• 투명성, 재현 가능성, 체계적 평가를 촉진함으로써 연구 보고 품질을 향상시켰다.
• 질문 설계 및 평가 방법론 측면에서 현재 평가 관행의 핵심적 격차를 메웠다.
• 프레임워크는 다양한 의료 AI 응용 분야에 적용 가능하며, 신뢰할 수 있는 의료 AI의 발전을 지원한다.