[论文解读] Child Gender Determination with Convolutional Neural Networks on Hand Radio-Graphs

Mumtaz Ali Kaloi, Kun He|arXiv (Cornell University)|Nov 13, 2018

Dermatoglyphics and Human Traits参考文献 7被引用 3

一句话总结

该论文提出GDCNN，一种卷积神经网络模型，通过左手指骨X光片实现98%的准确率来判断儿童性别，利用类激活映射（CAM）识别腕部（腕骨）区域为主要关注区域。该方法是首次将深度学习应用于通过手部X光片进行儿童性别鉴定，即使在骨骼发育不完全的情况下也能保持高准确率。

ABSTRACT

Motivation: In forensic or medico-legal investigation as well as in anthropology the gender determination of the subject (hit by a disastrous or any kind of traumatic situation) is mostly the first step. In state-of-the-art techniques the gender is determined by examining dimensions of the bones of skull and the pelvis area. In worse situations when there is only a small portion of the human remains to be investigated and the subject is a child, we need alternative techniques to determine the gender of the subject. In this work we propose a technique called GDCNN (Gender Determination with Convolutional Neural Networks), where the left hand radio-graphs of the children between a wide range of ages in 1 month to 18 years are examined to determine the gender. To our knowledge this technique is first of its kind. Further to identify the area of the attention we used Class Activation Mapping (CAM). Results: The results suggest the accuracy of the model is as high as 98%, which is very convincing by taking into account the incompletely grown skeleton of the children. The attention observed with CAM discovers that the lower part of the hand around carpals (wrist) is more important for child gender determination.

研究动机与目标

• 开发一种自动化、基于深度学习的方法，用于在仅存在部分骨骼遗骸的情况下确定儿童性别。
• 解决传统法医学方法依赖颅骨和骨盆的局限性，这些部位在儿童受害者中可能受损或缺失。
• 探索手部X光片（尤其是左手）作为儿童法医学案件中性别鉴定的可靠替代方法的潜力。
• 利用注意力可视化技术识别手部X光片中对性别分类最具区分性的解剖区域。
• 建立一种适用于现实世界儿童骨骼不完整情况下的法医学应用的高准确率模型。

提出的方法

• 在1个月至18岁儿童的左手X光片数据集上训练一种定制的卷积神经网络（GDCNN）。
• 该模型利用迁移学习和深度特征提取，基于手部骨骼的形态差异进行性别分类。
• 应用类激活映射（CAM）以可视化并定位对预测贡献最大的手部区域。
• 对数千张测试图像的注意力图进行分析，以识别特征重要性的稳定模式。
• 采用标准深度学习协议对网络进行训练和验证，包括交叉验证以及在测试集上的准确率评估。
• 在多样化的儿童手部X光片数据集上评估模型，以确保其在不同年龄组间的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否仅通过手部X光片实现高准确率的儿童性别判断？
• RQ2 手部中哪些解剖区域对儿童性别分类最具信息量？
• RQ3 卷积神经网络的注意力机制如何与儿童手部骨骼已知的解剖差异相一致？
• RQ4 尽管存在骨骼发育不完全的情况，该模型能否在广泛年龄范围（1个月至18岁）内保持泛化能力？
• RQ5 与传统的人体测量学和形态学方法相比，该模型在准确率和鲁棒性方面是否表现更优？

主要发现

• GDCNN模型在测试数据上实现了98%的性别分类准确率，显著优于以往方法。
• 类激活映射（CAM）显示，腕骨（腕部）区域是男性和女性儿童性别预测的主要关注区域。
• 在超过1,400张测试图像中，模型对尺骨、桡骨和腕骨区域表现出一致的关注，表明其具有强烈的区域聚焦能力。
• 观察发现，男童腕骨区域的骨骼更粗大且排列更紧密，而女童则表现为骨骼更纤细且存在明显间隙，该模式被模型成功捕捉。
• 根据注意力图，指骨（手指骨）对性别预测的贡献微乎其微。
• 即使仅提供手部下部（腕骨区域）的图像，模型仍保持高性能，表明其对部分图像输入具有强鲁棒性。