[论文解读] Domain Adaptation for MRI Organ Segmentation using Reverse Classification Accuracy

Vanya V. Valindria, Ioannis Lavdas+6 more|arXiv (Cornell University)|Jun 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 1被引用 10

一句话总结

该论文提出了一种新颖的领域自适应框架 DARCA，利用反向分类准确率（RCA）自动选择目标 MRI 领域中最具信息量的受试者进行标注，显著减少了标注工作量。通过结合 RCA 中最高和最低置信度的预测结果，该方法在仅使用部分目标数据进行微调的情况下，实现了与使用全部目标数据进行微调相当的分割性能，证明了 RCA 引导的受试者选择方法能够有效减轻标注负担，同时在多中心 MRI 器官分割任务中保持高精度。

ABSTRACT

The variations in multi-center data in medical imaging studies have brought the necessity of domain adaptation. Despite the advancement of machine learning in automatic segmentation, performance often degrades when algorithms are applied on new data acquired from different scanners or sequences than the training data. Manual annotation is costly and time consuming if it has to be carried out for every new target domain. In this work, we investigate automatic selection of suitable subjects to be annotated for supervised domain adaptation using the concept of reverse classification accuracy (RCA). RCA predicts the performance of a trained model on data from the new domain and different strategies of selecting subjects to be included in the adaptation via transfer learning are evaluated. We perform experiments on a two-center MR database for the task of organ segmentation. We show that subject selection via RCA can reduce the burden of annotation of new data for the target domain.

研究动机与目标

• 为解决在不同成像特性的新领域中部署于单一扫描仪或协议上训练的模型时，MRI 器官分割性能下降的问题。
• 通过基于数据驱动的标准识别最具'价值'的受试者进行标注，降低新目标领域手动标注的高成本和长时间开销。
• 评估反向分类准确率（RCA）是否可作为有效代理指标，用于选择能最大化领域自适应性能的受试者。
• 将基于 RCA 的不同受试者选择策略与基线方法（如全量微调和随机选择）在监督领域自适应设置下进行比较。
• 研究训练集大小和样本构成（例如，结合高置信度和低置信度预测）对分割性能的影响。

提出的方法

• 该方法采用反向分类准确率（RCA），一种无需真实标签即可预测模型在未标注目标数据上的 Dice 相似度系数（DSC）的指标，用于对目标领域受试者的有用性进行排序。
• 首先在源域（MALIBO 数据集）上训练一个基线模型，随后利用该模型对所有未标注的目标域受试者（UK Biobank 数据）预测 RCA 分数。
• 根据 RCA 分数选择受试者：选取 RCA 分数最高（置信度最高）和最低（置信度最低）的各 5 个预测结果进行标注并纳入微调过程。
• 将选定的受试者用于通过迁移学习对源模型进行微调，性能通过在完整目标测试集上的 DSC 进行评估。
• 比较多种策略：使用全部目标数据进行微调、随机选择、仅选择最佳或最差的 5 个受试者，以及结合最佳和最差 5 个受试者的策略，同时使用真实 DSC 和 RCA 预测的 DSC 进行评估。
• 该方法在两个任务上进行了验证：肝脏分割和右肾分割，使用来自不同扫描仪和协议的 35 个源受试者和 45 个目标受试者。

实验结果

研究问题

• RQ1 反向分类准确率（RCA）能否有效预测哪些目标领域受试者在标注并用于微调后能带来最大的性能提升？
• RQ2 结合高置信度和低置信度的 RCA 预测是否能带来优于仅选择最佳或最差受试者的领域自适应性能？
• RQ3 DARCA 的性能与使用全部目标数据进行全量微调相比如何，特别是在 DSC 和标注效率方面？
• RQ4 RCA 引导的受试者选择能否在大幅降低标注成本的前提下，实现与从头训练全部目标数据相当的性能？
• RQ5 基于 RCA 的选择方法在不同器官分割任务以及不同领域偏移程度下是否具有鲁棒性？

主要发现

• 通过 RCA 选择的前 5 名和后 5 名受试者组合在肝脏分割任务中达到了 0.726 的 DSC，优于使用全部 45 个目标受试者进行微调的结果（DSC：0.658）。
• 在右肾分割任务中，RCA 选择的前 5 名和后 5 名组合达到了 0.716 的 DSC，与从头训练全部目标数据的结果（DSC：0.719）相当，且显著优于使用全部数据的全量微调。
• 基于 RCA 的前 5 名和后 5 名受试者组合选择结果与基于真实 DSC 的选择结果相似，表明 RCA 作为性能预测代理指标具有可靠性。
• 使用伪标签进行微调引入了噪声并导致性能下降，表明在此监督领域自适应设置下，伪标签方法并无益处。
• RCA 引导的方法仅需标注 10 名受试者（目标数据的 10%），显著减轻了标注负担，同时实现了最先进的性能，且标注工作量极低。
• 该方法消除了迭代主动学习的需要，实现了单步选择与微调的端到端流程，相比现有方法更加快速高效。