[論文レビュー] Healthsheet: Development of a Transparency Artifact for Health Datasets

Negar Rostamzadeh, Diana Mincu+8 more|arXiv (Cornell University)|Feb 26, 2022

Mobile Health and mHealth Applications被引用数 8

ひとこと要約

本論文は、機械学習を用いた医療研究における透明性と説得責任を高めるために、データセット用のデータシートフレームワークを医療分野に特化させたHealthsheetを紹介する。電子歴史記録（EHR）、臨床試験、デジタルヘルス分野のデータセットに関するインタビューと事例研究を通じて、著者らはHealthsheetがバイアスの検出を向上させ、倫理的データセット評価を支援し、公平な機械学習のためのコミュニティ主導の文書化を促進することを示している。

ABSTRACT

Machine learning (ML) approaches have demonstrated promising results in a wide range of healthcare applications. Data plays a crucial role in developing ML-based healthcare systems that directly affect people's lives. Many of the ethical issues surrounding the use of ML in healthcare stem from structural inequalities underlying the way we collect, use, and handle data. Developing guidelines to improve documentation practices regarding the creation, use, and maintenance of ML healthcare datasets is therefore of critical importance. In this work, we introduce Healthsheet, a contextualized adaptation of the original datasheet questionnaire ~\cite{gebru2018datasheets} for health-specific applications. Through a series of semi-structured interviews, we adapt the datasheets for healthcare data documentation. As part of the Healthsheet development process and to understand the obstacles researchers face in creating datasheets, we worked with three publicly-available healthcare datasets as our case studies, each with different types of structured data: Electronic health Records (EHR), clinical trial study data, and smartphone-based performance outcome measures. Our findings from the interviewee study and case studies show 1) that datasheets should be contextualized for healthcare, 2) that despite incentives to adopt accountability practices such as datasheets, there is a lack of consistency in the broader use of these practices 3) how the ML for health community views datasheets and particularly extit{Healthsheets} as diagnostic tool to surface the limitations and strength of datasets and 4) the relative importance of different fields in the datasheet to healthcare concerns.

研究の動機と目的

• 機械学習で使用される医療データセットのための標準的で倫理的な文書化の欠如に対処すること。
• 機械学習を用いた医療分野における現在のデータ文書化実務における障壁と一貫性の欠如を特定すること。
• 医療データの独自のニーズと課題を反映した、文脈に即したデータシートフレームワークを構築すること。
• 構造的な透明性を通じて、データの質、バイアス、代表性をよりよく評価できるように、データセットの利用者を支援すること。
• データセット文書化を、医療分野における倫理的かつ説得力のある機械学習のためのツールとして、コミュニティによる採用と進化を促進すること。

提案手法

• Gebruら（2018）が提唱した元のデータセット用データシートフレームワークを改変し、医療分野に特化した透明性アーティファクト「Healthsheet」を構築した。
• 研究者およびデータ管理担当者との半構造的インタビューを実施し、主要な文書化のニーズと課題を同定した。
• MIMIC-III（EHR）、臨床試験データ、スマートフォンベースのパフォーマンス測定データの3つの公開医療データセットに、Healthsheetを適用した。
• データ収集、バージョニング、作成者のデモグラフィック情報といった、核心的なデータシート要素を、医療分野特有の懸念事項にマッピングした。
• 段階的な事例研究とステークホルダーからのフィードバックを通じて、Healthsheetの実用性と有効性を評価した。
• 新しいデータセットバージョンやユースケースに対応するための、コミュニティ主導のHealthsheetの維持・進化モデルを提言した。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータセット文書化を、医療データの独自の倫理的・構造的課題に適合させることができるか？
• RQ2 医療分野における包括的なデータセット文書化の作成・維持において、研究者が直面する主な障壁は何であるか？
• RQ3 データセット利用者は、Healthsheetのような透明性アーティファクトが、データ品質やバイアスを評価する上でどの程度価値を感じるか？
• RQ4 医療関連の機械学習アプリケーションにおける倫理的評価において、どのデータシートの要素が最も重要であるか？
• RQ5 Healthsheetは、実世界の医療データセットにおけるデータの制限や強みを特定する診断ツールとして、どの程度有効に機能するか？

主な発見

• Healthsheetは、一般のデータシート原則を医療分野に適応させることに成功し、データのルート、バイアス、臨床的関連性といった分野固有の懸念を扱っている。
• 透明性の価値を認識しているにもかかわらず、医療データセットにおける現在の文書化実務には顕著な不一致が見られる。
• 研究者らは、Healthsheetを、バイアスやデータの代表性を特定するうえで、データセットの制限や強みを理解するための診断ツールとして評価している。
• Healthsheetの作成プロセスを通じて、特にデータ取得メカニズムやバージョニング方式に関するメタデータの重大な欠落が明らかになった。
• Healthsheetエントリのコミュニティによる検証と継続的メンテナンスが不可欠であり、データの意図やルートに関する正確な報告は、データ所有者自身しか行えない。
• データセットバージョンの標準的命名規則の欠如と、中央集権的な文書化リポジトリの不在が、医療分野における機械学習研究の透明性と再現可能性を阻害している。