[论文解读] Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification Using Model Ensembles

Alexander Hustinx, Fabio Hellmann+5 more|arXiv (Cornell University)|Nov 12, 2022

Genomic variations and chromosomal abnormalities被引用 5

一句话总结

该论文通过用 iResNet-ArcFace 替代 GestaltMatcher 的过时架构，并引入一种结合了测试时增强（TTA）的模型集成方法，改进了深度面部表型分析中超罕见综合征的验证。该集成模型实现了最先进性能，在已见综合征上的 top-1 准确率达到 52.99%，在未见超罕见综合征上的准确率为 35.98%。

ABSTRACT

Rare genetic disorders affect more than 6% of the global population. Reaching a diagnosis is challenging because rare disorders are very diverse. Many disorders have recognizable facial features that are hints for clinicians to diagnose patients. Previous work, such as GestaltMatcher, utilized representation vectors produced by a DCNN similar to AlexNet to match patients in high-dimensional feature space to support "unseen" ultra-rare disorders. However, the architecture and dataset used for transfer learning in GestaltMatcher have become outdated. Moreover, a way to train the model for generating better representation vectors for unseen ultra-rare disorders has not yet been studied. Because of the overall scarcity of patients with ultra-rare disorders, it is infeasible to directly train a model on them. Therefore, we first analyzed the influence of replacing GestaltMatcher DCNN with a state-of-the-art face recognition approach, iResNet with ArcFace. Additionally, we experimented with different face recognition datasets for transfer learning. Furthermore, we proposed test-time augmentation, and model ensembles that mix general face verification models and models specific for verifying disorders to improve the disorder verification accuracy of unseen ultra-rare disorders. Our proposed ensemble model achieves state-of-the-art performance on both seen and unseen disorders.

研究动机与目标

• 通过改进深度面部表型模型，解决因患者图像有限而导致的超罕见遗传病诊断挑战。
• 克服现有模型（如 GestaltMatcher）依赖过时架构和迁移学习数据集的局限性。
• 通过架构更新、正则化和推理时策略，提升对未见超罕见综合征的泛化能力和性能。
• 开发一种稳健的模型集成方法，结合通用面部验证模型与综合征特异性模型，以提升在已见和未见综合症上的准确率。

提出的方法

• 使用 ArcFace 损失将 GestaltMatcher 的 DCNN 替换为 iResNet-50 和 iResNet-100，以提升面部表征学习能力。
• 通过使用多样化的面部识别数据集（如 Glint360K、MS-Celeb-1M）进行迁移学习评估，识别最适合表型分析的预训练数据。
• 通过生成测试图像的颜色变换和水平翻转变体，应用测试时增强（TTA）以提高模型鲁棒性和一致性。
• 实施一种模型集成方法，融合来自多个模型的预测结果：通用面部验证模型和经过微调的综合征特异性模型。
• 使用增强测试图像与图库图像之间表征向量的余弦距离计算相似度得分。
• 通过在所有增强图像和模型预测表征上平均距离向量，聚合结果以生成最终排序。

实验结果

研究问题

• RQ1 在 GestaltMatcher 中替换基础架构和损失函数，对已见和未见超罕见综合征的性能有何影响？
• RQ2 哪种面部识别数据集能为罕见遗传病的深度面部表型分析提供最佳迁移学习性能？
• RQ3 测试时增强是否能提升面部表型模型在未见超罕见综合征上的鲁棒性和准确性？
• RQ4 通过集成学习将通用面部验证模型与综合征特异性模型结合，是否能提升在已见和未见综合症上的性能？
• RQ5 正则化技术（如 Dropout 和 L2 权重衰减）在多大程度上能缓解过拟合并提升对未见综合征的泛化能力？

主要发现

• 使用 Glint360K 预训练的 iResNet-ArcFace 模型在所有指标上均优于原始的 GestaltMatcher 基线，尤其在未见综合征上表现更优。
• 在 GMDB 上微调提升了已见综合征（GMDB-Frequent）的 top-1 准确率至 49.25%，但降低了未见综合征（GMDB-Rare）的性能，表明存在过拟合现象。
• 测试时增强（TTA）显著提升了几乎所有模型的准确率，其中在集成设置中提升最为明显。
• 最终结合 TTA 的模型集成在 GMDB-Frequent 上实现了 52.99% 的最先进 top-1 准确率，在 GMDB-Rare 上达到 35.98%，显著优于基线（15.96% 和 19.26%）。
• 在特征层应用 Dropout 和 L2 权重衰减进行正则化，提升了未见综合征的性能，其中 L2 权重衰减表现出一致的正面影响。
• 集成策略有效结合了通用面部验证模型与综合征特异性模型的优势，显著增强了在已见和未见综合症上的鲁棒性和泛化能力。