[論文レビュー] DeepRA: Predicting Joint Damage From Radiographs Using CNN with Attention

Neelambuj Chaturvedi|arXiv (Cornell University)|Feb 13, 2021

Rheumatoid Arthritis Research and Therapies被引用数 6

ひとこと要約

本論文では、手および足のレントゲン画像における関節を検出し、Sharp/van der Heijde（SvH）法を用いて関節レベルの狭窄および嚥下スコアを予測する、注意メカニズムを備えた2段階のCNN、DeepRAを提案する。狭窄と嚥下の予測において、それぞれ31%および19%の重み付きRMSEの改善が達成され、全体の損傷予測における絶対誤差は79%削減された。加えて、注目マップにより解釈可能性が提供された。

ABSTRACT

Joint damage in Rheumatoid Arthritis (RA) is assessed by manually inspecting and grading radiographs of hands and feet. This is a tedious task which requires trained experts whose subjective assessment leads to low inter-rater agreement. An algorithm which can automatically predict the joint level damage in hands and feet can help optimize this process, which will eventually aid the doctors in better patient care and research. In this paper, we propose a two-staged approach which amalgamates object detection and convolution neural networks with attention which can efficiently and accurately predict the overall and joint level narrowing and erosion from patients radiographs. This approach has been evaluated on hands and feet radiographs of patients suffering from RA and has achieved a weighted root mean squared error (RMSE) of 1.358 and 1.404 in predicting joint level narrowing and erosion Sharp van der Heijde (SvH) scores which is 31% and 19% improvement with respect to the baseline SvH scores, respectively. The proposed approach achieved a weighted absolute error of 1.456 in predicting the overall damage in hands and feet radiographs for the patients which is a 79% improvement as compared to the baseline. Our method also provides an inherent capability to provide explanations for model predictions using attention weights, which is essential given the black box nature of deep learning models. The proposed approach was developed during the RA2 Dream Challenge hosted by Dream Challenges and secured 4th and 8th position in predicting overall and joint level narrowing and erosion SvH scores from radiographs.

研究の動機と目的

• レントゲン画像からの関節レベルの損傷予測を自動化し、放射線科医による主観的で時間がかかる手動スコアリングへの依存を減らすこと。
• レントゲン画像にアノテートされた関節位置が不足している問題に対処するため、RetinaNetベースの物体検出モデルを用いて指および手首を局所化すること。
• 注意強化CNNを用いて、関節狭窄および嚥下のSharp/van der Heijde（SvH）スコアの予測精度を向上させること。
• 注目マップを通じてモデルの解釈可能性を提供し、臨床現場におけるディープラーニング予測への信頼を高めること。
• 特に全体的および関節レベルの損傷予測において、ベースライン手法を上回る性能を発揮すること。

提案手法

• 2段階のフレームワークを採用：まず、RetinaNet物体検出モデルがレントゲン画像内の指および手首を局所化する。
• 次に、自己注意モジュールを備えたEfficientNetおよびDenseNetバックボーンに基づく関節レベルの回帰モデルが、狭窄および嚥下のSvHスコアを予測する。
• 注目メカニズムにより、検出された関節内の顕著な領域に注目が集まり、表現学習と解釈可能性が向上する。
• 注目メカニズムはCBAMスタイルのモジュールを介して統合され、空間的およびチャネル別重要度に基づいた特徴再キャリブレーションが可能になる。
• モデルはRAレントゲン画像で微調整され、RA2 Dream Challengeのテストセットを用いて重み付きRMSEおよび絶対誤差で評価された。
• 注目マップを可視化することで、関節空間や嚥下領域など生物学的に関連する領域にモデルが注目していることを検証した。

実験結果

リサーチクエスチョン

• RQ1 物体検出と注意ベースのCNNを組み合わせた2段階のディープラーニングフレームワークは、自動RA関節損傷スコアリングの精度を向上させることができるか？
• RQ2 注目メカニズムを統合することで、レントゲン画像からのSvHスコア予測における性能と解釈可能性はどの程度向上するか？
• RQ3 真の関節アノテーションが入手不可な状況下でも、RetinaNetによる関節局所化は、正確な下流の関節レベル損傷予測を可能にするか？
• RQ4 注目マップは、モデル予測に対する臨床的意味のある説明を提供できるか？ これにより、自動スコアリングに対する信頼が高まるか？
• RQ5 関節検出と注目メカニズムの統合は、これらのコンponentsを備えないベースラインモデルと比較して、顕著な性能向上をもたらすか？

主な発見

• 提案手法は、関節狭窄の重み付きRMSEが1.358、嚥下の重み付きRMSEが1.404に達し、それぞれベースライン比で31%および19%の改善を示した。
• 全体のRA損傷予測における重み付き絶対誤差は1.456にまで低下し、ベースラインの7.023と比較して79%の改善が達成された。
• 関節検出と注目機能を備えたEfficientNetベースのモデルは、他のすべてのアーキテクチャを上回り、全体スコアリングで4位、関節レベルスコアリングで8位を達成した。
• 注目マップは、指および手首の関節空間や嚥下領域といった顕著な領域を明確に可視化し、モデルが生物学的に関連する特徴に注目していることを確認した。
• 物体検出と注目メカニズムの統合は、性能を顕著に向上させた。微調整されたDenseNet-169では、これらのコンponentsが欠落していると僅かな改善しか得られなかった。
• 注目メカニズムにより、臨床家が入力画像内の注目重み付き領域を検査することで、モデルの予測を検証できる、内在的な解釈可能性が提供された。