[논문 리뷰] Healthsheet: Development of a Transparency Artifact for Health Datasets

Negar Rostamzadeh, Diana Mincu외 8명|arXiv (Cornell University)|2022. 02. 26.

Mobile Health and mHealth Applications인용 수 8

한 줄 요약

이 논문은 기존의 데이터셋을 위한 데이터시트 프레임워크를 의료 분야에 특화시킨 Healthsheet를 소개한다. 이는 기계학습 기반 의료 연구의 투명성과 책임성을 향상시키기 위한 것이다. 전자건강기록(EHR), 임상시험, 디지털 헬스 데이터셋에 대한 인터뷰와 사례 연구를 통해 저자들은 Healthsheet가 편향 탐지에 기여하고, 윤리적 데이터셋 평가를 지원하며, 공정한 기계학습을 위한 공동체 기반 문서화를 촉진함으로써 효과적임을 입증한다.

ABSTRACT

Machine learning (ML) approaches have demonstrated promising results in a wide range of healthcare applications. Data plays a crucial role in developing ML-based healthcare systems that directly affect people's lives. Many of the ethical issues surrounding the use of ML in healthcare stem from structural inequalities underlying the way we collect, use, and handle data. Developing guidelines to improve documentation practices regarding the creation, use, and maintenance of ML healthcare datasets is therefore of critical importance. In this work, we introduce Healthsheet, a contextualized adaptation of the original datasheet questionnaire ~\cite{gebru2018datasheets} for health-specific applications. Through a series of semi-structured interviews, we adapt the datasheets for healthcare data documentation. As part of the Healthsheet development process and to understand the obstacles researchers face in creating datasheets, we worked with three publicly-available healthcare datasets as our case studies, each with different types of structured data: Electronic health Records (EHR), clinical trial study data, and smartphone-based performance outcome measures. Our findings from the interviewee study and case studies show 1) that datasheets should be contextualized for healthcare, 2) that despite incentives to adopt accountability practices such as datasheets, there is a lack of consistency in the broader use of these practices 3) how the ML for health community views datasheets and particularly extit{Healthsheets} as diagnostic tool to surface the limitations and strength of datasets and 4) the relative importance of different fields in the datasheet to healthcare concerns.

연구 동기 및 목표

• 기계학습에서 사용되는 의료 데이터셋에 대한 표준화되고 윤리적인 문서화의 부족을 해결하기 위해.
• 기계학습을 위한 의료 분야에서의 현재 데이터 문서화 관행 내에서의 장애 요인과 일관성 없는 점을 규명하기 위해.
• 의료 데이터의 고유한 필요성과 과제를 반영하는 맥락에 맞춘 데이터시트 프레임워크를 개발하기 위해.
• 구조화된 투명성으로 데이터 소비자가 데이터 품질, 편향, 대표성 등을 더 잘 평가할 수 있도록 지원하기 위해.
• 데이터셋 문서화의 공동체적 도입과 발전을 촉진하여 의료 분야의 윤리적이고 책임감 있는 기계학습을 위한 도구로 활용하기 위해.

제안 방법

• Gebru 등(2018)이 제안한 원래의 데이터셋을 위한 데이터시트 프레임워크를 변형하여 의료 분야 전용 투명성 아티팩트인 Healthsheet를 개발하였다.
• 핵심 문서화 필요사항과 과제를 파악하기 위해 연구자들과 데이터 관리자들과의 반구조화된 인터뷰를 실시하였다.
• MIMIC-III(전자건강기록), 임상시험 데이터, 스마트폰 기반 성능 측정 데이터셋의 세 가지 공개된 의료 데이터셋에 Healthsheet를 적용하였다.
• 데이터 수집, 버전 관리, 제작자 인구통계학적 정보 등 핵심 데이터시트 구성 요소를 의료 분야 특화된 고려사항에 맞게 매핑하였다.
• 반복적인 사례 연구와 이해관계자 피드백을 통해 Healthsheet의 실행 가능성과 유용성을 평가하였다.
• 새로운 데이터셋 버전과 활용 사례에 걸쳐 Healthsheet를 유지하고 발전시킬 수 있는 공동체 기반 모델을 제안하였다.

실험 결과

연구 질문

• RQ1 어떻게 데이터셋 문서화를 의료 데이터의 고유한 윤리적 및 구조적 과제에 맞게 적응시킬 수 있는가?
• RQ2 의료 분야에서 포괄적인 데이터셋 문서화를 작성하고 유지하는 데 있어 연구자들이 겪는 주요 장애 요인은 무엇인가?
• RQ3 데이터셋 소비자는 Healthsheet와 같은 투명성 아티팩트가 데이터 품질과 편향을 평가하는 데 어떤 가치를 느끼는가?
• RQ4 의료 관련 기계학습 응용 분야에서 윤리적 평가에 가장 중요한 데이터시트 구성 요소는 무엇인가?
• RQ5 Healthsheet는 실제 의료 데이터셋의 데이터 제약과 강점을 진단하는 데 얼마나 효과적으로 기능할 수 있는가?

주요 결과

• Healthsheet는 일반적인 데이터시트 원칙을 의료 분야에 맞게 맥락화하여, 데이터 기원, 편향, 임상적 관련성과 같은 도메인 특화된 고려사항을 해결한다.
• 투명성의 가치를 인정하고 있음에도 불구하고, 의료 데이터셋 간 현재의 문서화 관행에 큰 일관성의 결여가 존재한다.
• 연구자들은 Healthsheet를 데이터셋의 제약과 강점을 이해하는 데 도움이 되는 진단 도구로 평가하며, 특히 편향과 데이터의 대표성을 식별하는 데 유용하다고 본다.
• Healthsheet를 작성하는 과정에서 데이터 확보 방식과 버전 관리 체계에 관한 메타데이터가 부족한 주요 격차가 드러났다.
• Healthsheet 항목의 공동체 검증과 지속적인 유지보수가 필수적이며, 데이터 의도와 기원에 대해 정확히 보고할 수 있는 유일한 사람은 데이터 소유자이기 때문이다.
• 데이터셋 버전에 대한 표준 명명 체계의 부재와 중앙 집중식 문서화 저장소의 결여로 인해 의료 기계학습 연구의 투명성과 재현 가능성이 저해된다.