[논문 리뷰] Child Gender Determination with Convolutional Neural Networks on Hand Radio-Graphs

Mumtaz Ali Kaloi, Kun He|arXiv (Cornell University)|2018. 11. 13.

Dermatoglyphics and Human Traits참고 문헌 7인용 수 3

한 줄 요약

이 논문은 98%의 정확도로 왼손 뼈의 빔 촬영을 사용하여 아동의 성별을 결정하는 GDCNN이라는 컨볼루션 신경망 모델을 제안한다. 이는 성별 예측에 가장 큰 기여를 하는 영역으로 손목(손목 뼈)을 특정하기 위해 클래스 활성 맵(CAM)을 활용한다. 이 방법은 손 X선을 이용한 아동 성별 결정에 딥러닝을 적용한 최초의 시도로, 뼈 성장이 완료되지 않은 경우에도 높은 정확도를 제공한다.

ABSTRACT

Motivation: In forensic or medico-legal investigation as well as in anthropology the gender determination of the subject (hit by a disastrous or any kind of traumatic situation) is mostly the first step. In state-of-the-art techniques the gender is determined by examining dimensions of the bones of skull and the pelvis area. In worse situations when there is only a small portion of the human remains to be investigated and the subject is a child, we need alternative techniques to determine the gender of the subject. In this work we propose a technique called GDCNN (Gender Determination with Convolutional Neural Networks), where the left hand radio-graphs of the children between a wide range of ages in 1 month to 18 years are examined to determine the gender. To our knowledge this technique is first of its kind. Further to identify the area of the attention we used Class Activation Mapping (CAM). Results: The results suggest the accuracy of the model is as high as 98%, which is very convincing by taking into account the incompletely grown skeleton of the children. The attention observed with CAM discovers that the lower part of the hand around carpals (wrist) is more important for child gender determination.

연구 동기 및 목표

• 부분적으로 손상된 뼈 잔해만 존재할 경우에도 자동으로 아동의 성별을 결정할 수 있는 딥러닝 기반의 방법을 개발하는 것.
• 기존의 뼈와 골반에 의존하는 전통적 법의학적 방법의 한계를 해결하기 위해, 어린이 피해자의 뇌나 골반 뼈가 손상되거나 존재하지 않을 수 있다는 점을 고려하는 것.
• 특히 왼손의 빔 촬영을 활용하여 아동 법의학 사례에서 성별 결정의 신뢰할 수 있는 대체 수단이 될 수 있는지 탐색하는 것.
• 주의 시각화 기법을 사용하여 손 X선에서 성별 분류에 가장 유의미한 해부학적 영역을 특정하는 것.
• 실제 법의학 응용에 적합한 높은 정확도의 모델을 구축하는 것

제안 방법

• 1개월에서 18세까지의 아동에서 확보한 왼손 빔 촬영 데이터셋을 기반으로 고유의 컨볼루션 신경망(GDCNN)을 훈련시킨다.
• 모델은 전이 학습과 깊은 특징 추출을 활용하여 손 뼈의 형태적 차이를 기반으로 성별을 분류한다.
• 예측에 가장 기여하는 영역를 시각화하고 국소화하기 위해 클래스 활성 맵(CAM)을 적용한다.
• 수천 장의 테스트 이미지에서 주의 맵을 분석하여 특징 중요도의 일관된 패턴을 규명한다.
• 표준 딥러닝 프rotocols를 사용하여 네트워크를 훈련하고 검증하며, 교차 검증과 테스트 세트에서의 정확도 평가를 수행한다.
• 모델은 다양한 연령대의 소아 손 X선 데이터셋을 활용해 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 손 빔 촬영만을 사용하여 아동의 성별을 높은 정확도로 결정할 수 있는가?
• RQ2 손의 해부학적 영역 중에서 성별 분류에 가장 정보가 많은 부분은 어디인가?
• RQ3 CNN의 주의 메커니즘이 소아 손 뼈의 알려진 해부학적 차이와 어떻게 일치하는가?
• RQ4 뼈 성장이 완료되지 않은 상황에서도, 모델이 넓은 연령 범위(1개월에서 18세)에 걸쳐 일반화할 수 있는가?
• RQ5 기존의 체형 측정 및 형태학적 기법에 비해 이 모델은 소아 사례에서 정확도와 강건성 면에서 뛰어나지 않는가?

주요 결과

• GDCNN 모델은 테스트 데이터에서 98%의 성별 분류 정확도를 기록하여 이전의 방법들을 크게 능가한다.
• 클래스 활성 맵(CAM) 분석 결과, 남녀 아동 모두 성별 예측에 가장 중요한 영역으로 손목 뼈(카르팔) 영역을 보여주었다.
• 1,400여 장의 테스트 이미지에서 모델이 유니카, 레이디우스 및 카르팔 영역에 일관되게 주의를 기울이는 것으로 나타났다.
• 남성의 카르팔 영역 뼈는 두껍고 더 단단히 배열되어 있는 반면, 여성의 경우 뼈는 얇고 간격이 뚜렷한 패턴이 관찰되었으며, 이는 모델이 정확히 포착하였다.
• 주의 맵 분석 결과, 손가락 뼈(필랑게이트)는 성별 예측에 거의 기여하지 않았다.
• 하나의 손목(카르팔) 영역만 존재하는 경우에도 모델은 높은 성능 유지를 보여, 부분적인 이미지 입력에 대한 강건성을 입증하였다.