[논문 리뷰] Machine learning and AI research for Patient Benefit: 20 Critical Questions on Transparency, Replicability, Ethics and Effectiveness

Sebastian J. Vollmer, Bilal A. Mateen외 16명|arXiv (Cornell University)|2018. 12. 21.

Artificial Intelligence in Healthcare and Education참고 문헌 33인용 수 17

한 줄 요약

이 논문은 의료 분야의 기계학습 및 인공지능 연구에서 투명성, 재현성, 윤리성, 효과성을 향상시키기 위해 20개의 핵심 질문을 제안한다. 이 프레임워크는 데이터 수집부터 구현까지 연구의 전 주기 동안 연구자들을 안내하며, 환자 결과 향상을 위해 철저하고 책임감 있는 연구 관행을 확립하기 위해 국제적 합의 기준을 수립하는 것을 목표로 한다. 이를 위해 AI-TREE(의료 분야의 책임 있는 AI)를 도입한다.

ABSTRACT

Machine learning (ML), artificial intelligence (AI) and other modern statistical methods are providing new opportunities to operationalize previously untapped and rapidly growing sources of data for patient benefit. Whilst there is a lot of promising research currently being undertaken, the literature as a whole lacks: transparency; clear reporting to facilitate replicability; exploration for potential ethical concerns; and, clear demonstrations of effectiveness. There are many reasons for why these issues exist, but one of the most important that we provide a preliminary solution for here is the current lack of ML/AI- specific best practice guidance. Although there is no consensus on what best practice looks in this field, we believe that interdisciplinary groups pursuing research and impact projects in the ML/AI for health domain would benefit from answering a series of questions based on the important issues that exist when undertaking work of this nature. Here we present 20 questions that span the entire project life cycle, from inception, data analysis, and model evaluation, to implementation, as a means to facilitate project planning and post-hoc (structured) independent evaluation. By beginning to answer these questions in different settings, we can start to understand what constitutes a good answer, and we expect that the resulting discussion will be central to developing an international consensus framework for transparent, replicable, ethical and effective research in artificial intelligence (AI-TREE) for health.

연구 동기 및 목표

• 현재 의료 분야의 기계학습/인공지능 연구에서 투명성, 재현성, 윤리적 심층 분석, 실증적 효과의 부족를 해결하기 위해.
• 의료 AI 모델이 실제 임상적 복리로 이어지지 못하게 하는 보고 및 방법론적 체계적 격차를 규명하기 위해.
• 의료 분야의 기계학습/인공지능 프로젝트가 기획 단계부터 구현 단계까지 전 과정을 안내할 수 있는 체계적이고 다학제적 프레임워크를 제공하기 위해.
• 의료 분야의 책임 있는 AI를 위한 국제적 합의 기준(AI-TREE)을 조성하기 위해.
• 다양한 환경에 적용 가능한 통합된 핵심 질문 세트를 통해 사후 평가 및 프로젝트 기획을 장려하기 위해.

제안 방법

• 의료 분야의 기계학습/인공지능 연구 전 주기의 전 과정을 아우르는 20개 질문의 포괄적 목록을 개발하기 위해.
• 핵심 기둥인 투명성, 재현성, 윤리성, 효과성 기반으로 질문들을 체계화하기 위해.
• 임상의사, 데이터 과학자, 윤리학자, 의료 서비스 연구자 등 다양한 전문가의 다학제적 시각을 통합하기 위해.
• 프로젝트 기획 단계와 완료된 연구의 사후 평가 단계에서 모두 활용 가능한 질문 설계를 위해.
• 데이터 확보, 모델 개발, 검증, 구현 등의 핵심 단계에 질문을 통합하여 실용적 적용을 강조하기 위해.
• 보고 기준 향상과 연구 품질의 독립적 평가를 가능하게 하기 위해 질문들을 기반으로 구조를 마련하기 위해.

실험 결과

연구 질문

• RQ1 다양한 연구 팀과 기관 간에 의료 분야의 기계학습/인공지능 연구가 어떻게 더 투명하고 재현 가능하게 만들 수 있는가?
• RQ2 임상 환경에서 AI 모델을 개발하고 구현하는 과정에서 발생하는 윤리적 위험은 무엇이며, 어떻게 사전에 대응할 수 있는가?
• RQ3 현재의 기계학습/인공지능 연구가 통계 성능을 넘어서 실제 임상 적용에서의 효과성과 환자 복리에 얼마나 기여하고 있는가?
• RQ4 의료 분야의 AI 연구가 과학적으로 탄탄하고 윤리적으로도 타당하도록 하기 위해 다학제 협업은 어떻게 구성되어야 하는가?
• RQ5 의료 분야의 AI에 있어 핵심 방법론적 및 윤리적 질문에 대한 '좋은' 답변의 기준은 무엇이며, 이를 바탕으로 합의를 어떻게 형성할 수 있는가?

주요 결과

• 20개 질문의 프레임워크는 의료 분야의 기계학습/인공지능 연구의 품질과 책임감 있는 연구 관행 향상에 실용적이고 실행 가능한 도구를 제공한다.
• 이 프레임워크는 연구 기획과 독립적 평가를 모두 지원하여 연구 간의 투명성과 재현성을 향상시킨다.
• 윤리적 우려를 조기에 체계적으로 다룸으로써, 임상 환경에서 해로운 또는 편향된 AI 응용의 위험을 줄일 수 있다.
• 질문들은 다양한 의료 환경, 데이터 유형, 모델 개발 단계에 적용 가능하도록 유연하게 설계되어 있다.
• 이 논문은 국제적 합의 기준인 AI-TREE(의료 분야의 책임 있는 AI)를 개발하기 위한 기반을 마련한다.
• 이 프레임워크는 환자 복리에 기여하는 AI의 최선의 실천 방식에 대한 논의와 발전을 촉진하며, 연구 품질 향상과 임상 적용 전환에 측정 가능한 영향을 미칠 수 있다.