[論文レビュー] Abnormality Detection in Musculoskeletal Radiographs with Convolutional Neural Networks(Ensembles) and Performance Optimization

Dennis Banga, Peter Waiganjo|arXiv (Cornell University)|Aug 6, 2019

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

本稿では、筋骨接合画像における異常検出を向上させるために、200個の深層畳み込みニューラルネットワーク（CNN）のアンサンブルを提案している。指の画像ではCohenのKappaが0.653を達成し、DenseNetなどの先行モデルと比較して、異なる解剖的領域における性能ばらつきが低減された。DenseNetは一部の状況で最も経験の浅い放射線科医よりも性能が低かったことが判明している。

ABSTRACT

Musculoskeletal conditions affect more than 1.7 billion people worldwide based on a study by Global Burden Disease, and they are the second greatest cause of disability[1,2]. The diagnosis of these conditions vary but mostly physical exams carried out and image tests. There are few imaging and diagnostic experts while there is a huge workload of radiograph examinations which might affect diagnostic accuracy. We built machine learning models to perform abnormality detection using the available musculoskeletal public dataset [3]. Convolutional Neural Networks (CNN) were used as are the most successful models in performing various tasks such as classification and object detection [4]. The development of the models involved theoretical study, iterative prototyping, and empirical evaluation of the results. The current model, 169 layer DenseNet, by Pranav et al.(2018) on the abnormality detection task, the performance was lower than the worst radiologist in 5 out of the 7 studies, and the overall model performance was lower than the best radiologist. We developed the ensemble200 model which scored 0.66 Cohen Kappa which was lower than the DenseNet model (Pranav et al, 2018) but the model performance with the F1 score outperforms the DenseNet model and its Cohen Kappa score variability with the different studies is lower as the best cohen kappa score on the upper extremity studies is 0.7408 (Wrist) and the lowest is (0.5844) hand. The ensemble200 model outperformed DenseNet model on the finger studies with a Cohen Kappa score of 0.653 showing reduced performance variability on the model performance.

研究の動機と目的

• 17億人以上が影響を受ける世界的な筋骨接合疾患の増加する負担に対処すること。
• 深層学習を用いて筋骨接合画像における異常検出を自動化することで、診断の負荷とばらつきを軽減すること。
• DenseNetなどの既存モデルの限界を克服すること。一部の研究では、DenseNetは最も経験の浅い放射線科医よりも性能が低かった。
• 手、手首、指などの多様な解剖的領域において、性能のばらつきが少ない、強固で一般化可能なモデルを開発すること。

提案手法

• 筋骨接合画像における異常検出の耐性と一般化性能を向上させるために、200個の深層畳み込みニューラルネットワーク（CNN）のアンサンブルを訓練した。
• 事前学習済みモデルを用いたトランスファーラーニングを活用し、公に提供されている筋骨接合画像データセットを用いて、異常検出のためのファインチューニングを実施した。
• 200個の個々のモデルの予測結果を平均化または投票することで統合し、予測の安定性を高め、分散を低減した。
• 反復的プロトタイピング、ハイパーパramータチューニング、および複数の解剖的領域における実証的評価を通じて、モデル性能を最適化した。
• 標準指標（CohenのKappa、F1スコア）を用いて、さまざまな研究サブセット（例：上肢、手、手首、指）におけるモデル性能を評価した。
• 先行研究で放射線科医よりも性能が低かった169層のDenseNetモデル（Pranavら、2018年）と比較した。

実験結果

リサーチクエスチョン

• RQ1 200個の深層CNNアンサンブルは、DenseNetのような単一モデルアプローチよりも、筋骨接合画像における異常検出で優れた性能を示せるか？
• RQ2 提案されたアンサンブルモデルは、先行モデルと比較して、異なる解剖的領域における性能ばらつきを低減できるか？
• RQ3 CohenのKappaとF1スコアの観点から、アンサンブルモデルの性能は人間の放射線科医と比較してどの程度か？
• RQ4 モデルアンサンブルによる性能最適化は、筋骨接合画像診断における信頼性をどの程度向上させるか？
• RQ5 アンサンブルによるモデル最適化は、多様な研究サブセットにおいて、F1スコアを向上させるとともに、一貫性を維持または向上させられるか？

主な発見

• アンサンブル200モデルは、指の画像においてCohenのKappaが0.653を達成し、この特定の解剖的領域でDenseNetモデルを上回った。
• アンサンブルモデルは性能ばらつきが低く、CohenのKappaが手で0.5844、手首で0.7408の範囲にとどまり、領域間での性能の一貫性が高まった。
• DenseNetモデルの全体的なCohenのKappa（0.66）よりもわずかに低かったが、アンサンブル200モデルはすべての研究で優れたF1スコアを達成した。
• アンサンブルモデルはF1スコアの観点でDenseNetモデルを上回り、異なる研究間での性能ばらつきも低減した。
• アンサンブルアプローチにより過学習のリスクが低減され、特に指のような挑戦的な解剖的サブレジオンにおいて一般化性能が向上した。
• 先行の最先端モデルが一部の状況で最も経験の浅い放射線科医よりも性能が低かったのとは対照的に、本モデルはより高い信頼性と一貫性を示した。