[論文レビュー] Residual Attention based Network for Hand Bone Age Assessment

Eric Hsiao‐Kuang Wu, Bin Kong+9 more|arXiv (Cornell University)|Dec 21, 2018

Forensic Anthropology and Bioarchaeology Studies参考文献 10被引用数 6

ひとこと要約

本稿では、手のセグメンテーションにMask R-CNNを、骨年齢評価に残差注意ネットワークを組み合わせた統合的深層学習フレームワークを提案する。X線アーティファクトからの干渉を低減し、重要な解剖学的領域に注目することで、精度を顕著に向上させた。本手法はRSNA小児骨年齢データセットにおいて7.38か月の平均絶対誤差（MAE）を達成し、先行する最先端手法を上回った。

ABSTRACT

Computerized automatic methods have been employed to boost the productivity as well as objectiveness of hand bone age assessment. These approaches make predictions according to the whole X-ray images, which include other objects that may introduce distractions. Instead, our framework is inspired by the clinical workflow (Tanner-Whitehouse) of hand bone age assessment, which focuses on the key components of the hand. The proposed framework is composed of two components: a Mask R-CNN subnet of pixelwise hand segmentation and a residual attention network for hand bone age assessment. The Mask R-CNN subnet segments the hands from X-ray images to avoid the distractions of other objects (e.g., X-ray tags). The hierarchical attention components of the residual attention subnet force our network to focus on the key components of the X-ray images and generate the final predictions as well as the associated visual supports, which is similar to the assessment procedure of clinicians. We evaluate the performance of the proposed pipeline on the RSNA pediatric bone age dataset and the results demonstrate its superiority over the previous methods.

研究の動機と目的

• 全身画像を対象とする深層学習モデルの骨年齢評価における限界、特にX線タグやその他のアーティファクトによる干渉を是正すること。
• 臨床的なTanner-Whitehouseプロトコルを模倣し、手の骨格的構造（手根骨、中手骨、指節骨など）に注目すること。
• 同時に手のセグメンテーションと骨年齢予測を実行できるエンドツーエンドで学習可能なパイプラインの開発。
• 注意メカニズムを用いた特徴学習の前段階で関連する手部領域を分離することで、モデルの頑健性と精度を向上させること。
• 注意メカニズムおよび性別入力を骨年齢予測に組み込む必要性を検証すること。

提案手法

• 背景の干渉要因（X線タグや注釈など）を除去するために、ピクセル単位の手のセグメンテーションを実行するMask R-CNNサブネットを用いる。
• セグメンテーション済みの手画像を、6つの残差注意モジュールを備えた残差注意ネットワークに供給し、診断的に重要な骨領域に注目する。
• 各残差注意モジュールは、トレーニング中に空間的注意重みを学習するためのトランクブランチとソフトマスクブランチから構成される。
• 注意メカニズムにより、手根骨や指節骨などの領域が動的に強調され、放射線科医の診断的注視に類似した挙動を示す。
• パイプライン全体をエンドツーエンドで学習させ、セグメンテーションと年齢予測の共同最適化を可能にする。
• ソフトマスクブランチから生成される視覚的注意マップにより、解釈可能性と臨床的整合性が向上する。

実験結果

リサーチクエスチョン

• RQ1 手のセグメンテーションと注意ベースの特徴学習を統合した統合的深層学習フレームワークは、全身画像アプローチと比較して骨年齢評価の精度を向上させ得るか？
• RQ2 Mask R-CNNを用いてX線タグなどの背景アーティファクトを除去することで、予測誤差が顕著に低減するか？
• RQ3 手根骨などの診断的に重要な骨構造に注目するため、残差ネットワーク内の注意メカニズムは不可欠か？
• RQ4 性別を入力に含めることで、モデルの予測性能にどのような影響が生じるか？
• RQ5 ネットワークが生成する注意マップは、臨床的知識に基づく主要な骨端線成熟指標と整合性を示すか？

主な発見

• 提案手法はRSNA小児骨年齢データセットにおいて7.38か月の平均絶対誤差（MAE）を達成し、先行する最先端手法（MAE 8.08か月）を上回った。
• Mask R-CNNサブネットを削除した場合、MAEは12か月に上昇し、背景抑制が頑健な性能を発揮するために不可欠であることを示した。
• 残差注意ネットワークの注意マップは、初期および中程度の注視モジュールで手根骨に高い注目を示しており、臨床的知識と整合的であった。
• モジュールAtt3_2およびAtt3_3の注意機能を無効化した場合、MAEは1.69か月上昇し、注意メカニズムが正確な予測に不可欠であることを裏付けた。
• 性別入力を除外した場合、MAEは10か月に上昇し、性別が正確な骨年齢推定において重要な要因であることを示した。
• モデルは放射線科診断の実務と整合性を持つ解釈可能な注意マップを生成し、臨床的信頼性と透明性を高めた。