[論文レビュー] Reproducibility of the Methods in Medical Imaging with Deep Learning

Attila Simko, Anders Garpebring+3 more|arXiv (Cornell University)|Oct 20, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

この論文は、2018年から2022年までのMIDLカンファレンス出願を分析することで、医療画像における深層学習手法の再現可能性を評価し、コードリポジトリのうちたった22％しか再現可能でないことが明らかになった。本研究では再現可能性チェックリストを提案し、カンファレンスレベルのガイドラインを通じてリポジトリの質、コードの透明性、データの引用を向上させることで、医療AI分野における研究の厳密さと影響力を高めるべきだと提言する。

ABSTRACT

Concerns about the reproducibility of deep learning research are more prominent than ever, with no clear solution in sight. The relevance of machine learning research can only be improved if we also employ empirical rigor that incorporates reproducibility guidelines, especially so in the medical imaging field. The Medical Imaging with Deep Learning (MIDL) conference has made advancements in this direction by advocating open access, and recently also recommending authors to make their code public - both aspects being adopted by the majority of the conference submissions. This helps the reproducibility of the methods, however, there is currently little or no support for further evaluation of these supplementary material, making them vulnerable to poor quality, which affects the impact of the entire submission. We have evaluated all accepted full paper submissions to MIDL between 2018 and 2022 using established, but slightly adjusted guidelines on reproducibility and the quality of the public repositories. The evaluations show that publishing repositories and using public datasets are becoming more popular, which helps traceability, but the quality of the repositories has not improved over the years, leaving room for improvement in every aspect of designing repositories. Merely 22% of all submissions contain a repository that were deemed repeatable using our evaluations. From the commonly encountered issues during the evaluations, we propose a set of guidelines for machine learning-related research for medical imaging applications, adjusted specifically for future submissions to MIDL.

研究の動機と目的

• 深層学習研究における再現可能性に関する懸念が高まる中、とりわけ方法論的厳密さが求められる医療画像分野において、その問題を扱う。
• 2018年から2022年までのMIDLカンファレンス出願に伴う公開リポジトリの質と再現可能性を調査する。
• オープンサイエンス政策があるにもかかわらず、リポジトリ設計、データ引用、コードの可用性に起因する再現性の阻害要因を同定する。
• 著者およびカンファレンス主催者に実行可能なガイドラインを提示し、補足的リサーチ資料の透明性、質、長期的利用可能性を向上させる。
• peer reviewプロセスに再現性評価を統合することで、出版前の方法論的堅牢性を保証する。

提案手法

• 2018年から2022年までのMIDLカンファレンスで採択された全論文出願を、医療画像および深層学習に特化した改訂版再現性チェックリストを用いて評価した。
• コードの完全性、ドキュメンテーション、環境設定、結果の再現性、パブリックデータセットの使用の有無に基づいてリポジトリを評価した。
• パブリックデータセットについて、適切な引用、アクセスリンク、研究の主張と整合性があるかを検証した。
• リンク切れ、依存関係の欠落、トレーニング／推論スクリプトの欠如、バージョン管理の不在といった一般的な問題を同定した。
• 補足資料の質を標準化するため、Appendix Aに記載の構造化された再現性チェックリスト（オプション項目付き）を提案した。
• ECML-PKDDが採用している「再現可能（reproducible）」フラグと同様に、MIDLが全チェックリスト基準を満たす出願に対して公式な認知制度を導入することを提案した。

実験結果

リサーチクエスチョン

• RQ1 MIDL出願に伴うコードリポジトリは、どの程度真正に再現可能であり、再現可能であるのか？
• RQ2 医療画像における深層学習研究の公開リポジトリ設計および保守における、最も一般的な欠陥は何か？
• RQ3 パブリックデータセットの使用は再現性にどのように影響するのか？ また、出願において一貫して引用され、リンクされているか？
• RQ4 構造化されたガイドラインおよびカンファレンスレベルのポリシーは、補足資料の質と透明性を顕著に向上させることができるか？
• RQ5 peer reviewは、本論文の内容を超えて、再現性基準の遵守をどのように果たす役割を果たせるか？

主な発見

• 提出されたリポジトリのうち、再現可能とされたのはわずか22％であり、コード共有の普及にもかかわらず、再現性のギャップが顕著に存在することが示された。
• パブリックデータセットの使用が増加しているにもかかわらず、多くの出願が適切に引用またはリンクしていないため、追跡可能性と透明性が低下している。
• 多くのリポジトリが空またはリンク切れの状態であり、9つの空のリポジトリのうち4つがカンファレンス終了後1か月以内に変更された。
• 多くのリポジトリがトレーニングスクリプト、推論コード、環境設定、明確なドキュメンテーションといった必須要素を欠いていた。
• 本研究では、コード共有そのものが再現性を保証するものではないことが判明した。リポジトリの質と保守可能性が、極めて重要な要因である。
• 著者らは、再現性評価をpeer reviewプロセスに統合し、高品質な出願に対して公式な認知制度を導入するよう提言した。