[논문 리뷰] Unmasking Biases and Navigating Pitfalls in the Ophthalmic Artificial Intelligence Lifecycle: A Review

Luis Filipe Nakayama, João Matos외 9명|arXiv (Cornell University)|2023. 10. 08.

Retinal Imaging and Analysis인용 수 5

한 줄 요약

이 리뷰는 망막 질환 AI 생애주기의 일곱 단계—자료 수집에서 배포 후 모니터링까지—에 걸쳐 퍼져 있는 편향과 위험을 식별하고, 안-eye 치료 분야에서 윤리적이고 공정하며 신뢰할 수 있는 AI 도입을 보장하기 위한 완화 전략을 제안한다. 임상 적용에서 피해를 방지하기 위해 각 단계에서 체계적인 편향 탐지와 거버넌스를 강조한다.

ABSTRACT

Over the past two decades, exponential growth in data availability, computational power, and newly available modeling techniques has led to an expansion in interest, investment, and research in Artificial Intelligence (AI) applications. Ophthalmology is one of many fields that seek to benefit from AI given the advent of telemedicine screening programs and the use of ancillary imaging. However, before AI can be widely deployed, further work must be done to avoid the pitfalls within the AI lifecycle. This review article breaks down the AI lifecycle into seven steps: data collection; defining the model task; data pre-processing and labeling; model development; model evaluation and validation; deployment; and finally, post-deployment evaluation, monitoring, and system recalibration and delves into the risks for harm at each step and strategies for mitigating them.

연구 동기 및 목표

• 모든 단계에서 편향과 위험의 근본 원인을 체계적으로 분석하기 위해 망막 질환 AI 생애주기를 분석한다.
• 환자 하위군 간 모델 성능 격차를 유발할 수 있는 자료 수집, 레이블링, 모델 개발 및 배포 단계의 특정 실패 지점을 특정한다.
• 공정성, 투명성 및 안정성을 향상시키기 위해 각 단계에서 실행 가능한 완화 전략을 제안한다.
• 구조적인 생애주기 거버넌스를 통해 원격의료 및 스크리닝 프로그램에서의 책임감 있는 AI 도입을 지원한다.
• 연구자와 임상의가 모델의 일반화 능력과 공정성을 해치는 일반적인 함정을 피할 수 있도록 안내한다.

제안 방법

• AI 생애주기를 자료 수집, 작업 정의, 자료 전처리 및 레이블링, 모델 개발, 평가 및 검증, 배포, 그리고 배포 후 모니터링의 일곱 개의 구체적인 단계로 구조화한다.
• 각 단계에서 잠재적 피해를 평가하기 위해 위험 기반 프레임워크를 적용하며, 자료 편향, 레이블링 일관성 문제, 모델 과적합 등을 포함한다.
• 모델 개발 및 검증 워크플로우에 공정성, 해석 가능성, 임상적 관련성 원칙을 통합한다.
• 다양하고 대표성이 있는 데이터셋과 표준화된 레이블링 프로토콜을 통해 인구통계학적 및 임상적 편향을 줄이기 위한 필요성을 강조한다.
• 실제 환경 조건 변화에 대응하기 위해 실시간으로 성능을 유지하기 위해 배포 후 지속적인 모니터링 및 재조정 메커니즘을 제안한다.
• 모든 단계에서 임상의, 데이터 과학자, 윤리학자 등 다학제적 협업이 필수적임을 주장한다.

실험 결과

연구 질문

• RQ1 망막 질환 AI 생애주기의 각 단계에서 주요 편향 및 위험 원인은 무엇인가?
• RQ2 자료 수집 및 레이블링 관행은 환자 하위군 간 모델 성능 격차를 어떻게 유발하는가?
• RQ3 모델 개발 및 검증 단계에서 임상 안전성과 공정성을 확보하기 위해 구현할 수 있는 전략은 무엇인가?
• RQ4 배포 후 모니터링 및 시스템 재조정은 장기적인 성능 저하와 편향 증폭을 방지하는 데 어떻게 기여하는가?
• RQ5 망막 질환 분야에서 책임감 있는 AI 도입을 위해 필수적인 거버넌스 및 다학제적 실천은 무엇인가?

주요 결과

• 편향은 AI 생애주기 전반에 걸쳐 널리 퍼져 있으며, 특히 자료 수집 및 레이블링 단계에서 인구통계학적 및 임상적 불균형의 주요 원인이다.
• 전문가가 아닌 레이블러가 참여할 경우 레이블링 절차의 부실함이 심각하게 모델 오류와 잘못된 진단 위험을 증가시킨다.
• 검증 다양성이 부족하여, 특히 소수 집단에서의 성능 격차가 평가 과정에서 과소평가되는 경우가 많다.
• 배포 후 모니터링는 자주 간과되며, 이로 인해 분포 이격 현상과 시간이 지남에 따라 모델 신뢰도 저하가 발생한다.
• 표준화되고 투명하며 다학제적 워크플로우가 망막 질환 분야에서 편향을 완화하고 공정한 AI 결과를 보장하기 위해 필수적이다.
• 지속적인 재조정 메커니즘이 없을 경우, 특히 환자 인구구조가 변화하는 실생활 임상 환경에서 모델 드리프트가 발생할 수 있다.