[論文レビュー] Biomedical image analysis competitions: The state of current participation practice

Matthias Eisenmann, Annika Reinke+354 more|arXiv (Cornell University)|Dec 16, 2022

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 17

ひとこと要約

本研究は、IEEE ISBI 2021およびMICCAI 2021のバイオメディカル画像解析コンペティションに参加した80名の参加者を対象としたアンケートを通じて、現在のコンペティション実務の実態を調査した。知識共有が参加の主な動機（70%）であることが明らかになった。深層学習が支配的であり（全解決手法の94%）、時間制約（32%が開発に十分な時間がなかったと報告）とデータサイズ（43%が処理制限を経験）が主な課題である。パッチベース学習とダウンサンプリングが一般的な解決策である。

ABSTRACT

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

研究の動機と目的

• バイオメディカル画像解析コンペティションにおける参加実務の現状を理解すること。
• ベンチマークチャレンジへの参加の主な動機を特定すること。
• チャレンジ開発における手法的選択、アルゴリズム戦略、技術的ボトルネックを分析すること。
• バリデーション手法、データ処理、インフラのコンペティションパフォーマンスへの影響を評価すること。
• 提出された解決手法における深層学習、モデルアンサンブル、後処理の普及度を評価すること。

提案手法

• IEEE ISBI 2021およびMICCAI 2021で開催された80件のコンペティションに参加した全参加者を対象に国際的アンケートを実施した。
• アンケートは5つのセクションに構成：チームおよびタスク情報、専門性と作業環境、コンペティション戦略、アルゴリズム特性、その他の詳細。
• 参加動機、時間投資、インフラへのアクセス、モデルアーキテクチャ、データ処理、バリデーション手法に関するデータを収集した。
• 80件の別々のコンペティション（各々専用のリーダーボードを備える）において、参加者の中央値72%の回答を分析した。
• 記述統計とクロスセクショナル分析を用いて、モデル開発、データ処理、バリデーション実務におけるトレンドを要約した。
• バイオメディカルチャレンジのためのBIAS指針を適用し、アンケート設計および解釈におけるメソドロジカルな厳密性を確保した。

実験結果

リサーチクエスチョン

• RQ1 バイオメディカル画像解析コンペティションへの参加の主な動機は何ですか？
• RQ2 参加者は通常、手法開発にどの程度の時間を費やしており、その何割が開発に十分な時間がなかったと報告していますか？
• RQ3 コンペティション提出物で一般的に使用されている深層学習アーキテクチャとデータ処理戦略は何か？
• RQ4 k分割交差検証やモデルアンサンブルといった標準的なバリデーション手法はどの程度採用されていますか？
• RQ5 特にデータサイズとインフラに関して、参加者が報告する主な技術的ボトルネックは何ですか？

主な発見

• 70%の参加者が知識共有を主な動機として挙げたが、賞金は小さなインcentive（16%）にとどまった。
• 手法開発に費やされた中央値は80時間であったが、32%の参加者が開発に十分な時間がなかったと報告した。
• 全提出解決手法の94%が深層学習に基づいており、そのうち84%が標準アーキテクチャを使用していた。
• 43%の回答者が画像データが処理可能なサイズを超えていると報告した。パッチベース学習（69%）とダウンサンプリング（37%）が最も一般的な解決策であった。
• 訓練セットでのk分割交差検証は37%の参加者しか使用しておらず、モデルアンサンブルは50%が実施していた。そのうち61%が同一モデル、39%が異種モデルを使用していた。
• 48%の参加者が予測結果に対して後処理ステップを適用しており、推論後に結果を精緻化する一般的な実務であることが示された。