[論文レビュー] Child Gender Determination with Convolutional Neural Networks on Hand Radio-Graphs

Mumtaz Ali Kaloi, Kun He|arXiv (Cornell University)|Nov 13, 2018

Dermatoglyphics and Human Traits参考文献 7被引用数 3

ひとこと要約

本論文では、98％の正確性を達成するGDCNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。このモデルは、左手レントゲン写真を用いて子供の性別を特定し、クラス活性化マッピング（CAM）を活用して親指の付け根（手首、月状骨）領域を主な注目領域として特定している。この手法は、子供の性別を手のレントゲン写真を用いて深層学習で特定する初の試みであり、骨格の発達が不完全な状態でも高い正確性を示す。

ABSTRACT

Motivation: In forensic or medico-legal investigation as well as in anthropology the gender determination of the subject (hit by a disastrous or any kind of traumatic situation) is mostly the first step. In state-of-the-art techniques the gender is determined by examining dimensions of the bones of skull and the pelvis area. In worse situations when there is only a small portion of the human remains to be investigated and the subject is a child, we need alternative techniques to determine the gender of the subject. In this work we propose a technique called GDCNN (Gender Determination with Convolutional Neural Networks), where the left hand radio-graphs of the children between a wide range of ages in 1 month to 18 years are examined to determine the gender. To our knowledge this technique is first of its kind. Further to identify the area of the attention we used Class Activation Mapping (CAM). Results: The results suggest the accuracy of the model is as high as 98%, which is very convincing by taking into account the incompletely grown skeleton of the children. The attention observed with CAM discovers that the lower part of the hand around carpals (wrist) is more important for child gender determination.

研究の動機と目的

• 部分的な骨格の残骸しか入手できない状況における、自動的で深層学習に基づく子供の性別特定手法の開発を目的とする。
• 頭蓋骨や骨盤に依存する従来の法医学的手法の限界、特に子供の犠牲者において損傷や欠損が生じやすい点を是正することを目的とする。
• 特に左手のレントゲン写真を用いた、子供の法医学的状況における性別特定の代替手段としての信頼性を検討することを目的とする。
• 注視可視化技術を用いて、性別分類に最も特徴的な解剖学的領域を同定することを目的とする。
• 子供の不完全な骨格を伴う現実世界の法医学的応用に適した高精度なモデルを確立することを目的とする。

提案手法

• 1か月から18歳の子供の左手レントゲン写真のデータセットを用いて、独自に開発した畳み込みニューラルネットワーク（GDCNN）を訓練する。
• モデルは転移学習と深層特徴抽出を活用し、手の骨の形態的差異に基づいて性別を分類する。
• クラス活性化マッピング（CAM）を適用して、予測に最も寄与する手の領域を可視化し、局所化する。
• 注視マップを数千枚のテスト画像に対して分析し、特徴の重要性に関する一貫したパターンを同定する。
• 標準的な深層学習プロトコル（交差検証とテスト分割における正確性評価など）に従い、ネットワークを訓練および検証する。
• 年齢層にわたる多様な小児用手のレントゲン写真データセットを用いてモデルを評価し、年齢層にわたる一般化性を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、手のレントゲン写真のみを用いて、子供の性別を高い正確性で特定できるか？
• RQ2 手のレントゲン写真において、子供の性別分類に最も有用な解剖学的領域はどこか？
• RQ3 畳み込みニューラルネットワークの注視メカニズムは、小児の手の骨における既知の解剖学的差異と一致するか？
• RQ4 骨格の発達が不完全な状態であるにもかかわらず、広い年齢範囲（1か月から18歳）にわたってモデルが一般化できるか？
• RQ5 従来の測定的および形態的技術に比べ、本モデルは小児症例において正確性と頑健性の面で優れているか？

主な発見

• GDCNNモデルはテストデータにおいて98％の性別分類正確性を達成し、従来の手法を著しく上回っている。
• クラス活性化マッピング（CAM）により、男性および女性の子供の両方において、手首（月状骨）領域が性別予測の主な注目領域であることが明らかになった。
• 1,400枚を超えるテスト画像において、モデルは尺骨、橈骨、月状骨に一貫した注視を示しており、強力な領域的注視が確認された。
• 男性の月状骨領域では骨が厚く、密にまとまっているのに対し、女性では骨が細く、明確なすき間が観察されるというパターンがモデルによって捉えられた。
• 注視マップによると、指の骨（末節骨）は性別予測にほとんど寄与していない。
• 手の下部（月状骨）のみが利用可能な場合でも、モデルは高い性能を維持しており、部分的な画像入力に対しても頑健であることが示された。