[論文レビュー] Knee Osteoarthritis Severity Prediction using an Attentive Multi-Scale Deep Convolutional Neural Network

Rohit Jain, Prasen Kumar Sharma+3 more|arXiv (Cornell University)|Jun 27, 2021

Osteoarthritis Treatment and Mechanisms被引用数 10

ひとこと要約

本稿では、Kellgren-Lawrence (KL) 評価尺度を用いてレントゲン画像から膝関節症 (OA) の重症度を予測するため、HRNetとCBAMアテンション機構を組み合わせた深層学習モデル、OsteoHRNetを提案する。マルチスケール特徴抽出とアテンションベースの特徴精錬を活用することで、OAIデータセットにおいて71.74%の多クラス正解率と0.311のMAEを達成し、先行手法を上回る性能を示した。また、Grad-CAM可視化により病変に関連する特徴の局在化が向上したことが確認された。

ABSTRACT

Knee Osteoarthritis (OA) is a destructive joint disease identified by joint stiffness, pain, and functional disability concerning millions of lives across the globe. It is generally assessed by evaluating physical symptoms, medical history, and other joint screening tests like radiographs, Magnetic Resonance Imaging (MRI), and Computed Tomography (CT) scans. Unfortunately, the conventional methods are very subjective, which forms a barrier in detecting the disease progression at an early stage. This paper presents a deep learning-based framework, namely OsteoHRNet, that automatically assesses the Knee OA severity in terms of Kellgren and Lawrence (KL) grade classification from X-rays. As a primary novelty, the proposed approach is built upon one of the most recent deep models, called the High-Resolution Network (HRNet), to capture the multi-scale features of knee X-rays. In addition, we have also incorporated an attention mechanism to filter out the counterproductive features and boost the performance further. Our proposed model has achieved the best multiclass accuracy of 71.74% and MAE of 0.311 on the baseline cohort of the OAI dataset, which is a remarkable gain over the existing best-published works. We have also employed the Gradient-based Class Activation Maps (Grad-CAMs) visualization to justify the proposed network learning.

研究の動機と目的

• レントゲン画像から膝関節症の重症度を自動的に分類する深層学習ベースの手法を開発すること。
• 従来の放射線科医によるKL評価の主観性と一貫性の欠如を是正すること。
• X線画像における特徴表現の向上により、膝OA進行の早期検出を促進すること。
• 関節間隙の狭窄や骨棘などの臨床的に関連する解剖学的特徴に注目できるように、アテンション機構を統合すること。
• 勾配ベースのクラス活性化マップ（Grad-CAM）を用いてモデルの解釈可能性を検証すること。

提案手法

• 提案手法OsteoHRNetは、ネットワーク全体にわたり高解像度の特徴マップを維持するため、バックボーンネットワークとしてHRNetを採用する。
• HRNetのスタムの直後にCBAM（畳み込みブロックアテンションモジュール）を統合し、チャネルおよび空間的特徴を適応的に再キャリブレーションする。
• KLグレードの順序性をよりよく捉えるために、交差エントロピー損失関数に加え、順序付き損失関数を併用して学習を行う。
• 一般化性能とロバストネスを向上させるために、訓練中にデータ拡張技術を適用する。
• 注意マップの解釈と、関節間隙や骨棘のような病変関連領域にモデルが注目しているかの検証のために、Grad-CAM可視化を用いる。
• 標準指標（多クラス正解率と平均絶対誤差（MAE））を用いて、OAIデータセット上でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴抽出とアテンション機構を有する深層学習モデルは、膝X線画像からのKLグレード分類の正確性を向上させることができるか？
• RQ2 CBAMアテンションの統合は、ベースラインCNNと比較して特徴選択と分類性能をどのように改善するか？
• RQ3 モデルの注目度が、関節間隙の狭窄や骨棘といった臨床的関連特徴にどの程度集中しているか？
• RQ4 OAIデータセットにおける正解率とMAEの観点から、既存の最先端手法と比較して、本モデルはどのように差をつけるか？
• RQ5 Grad-CAM可視化により、モデルが意味のある診断的関連空間特徴を学習していることが確認できるか？

主な発見

• OsteoHRNetはOAIデータセットで71.74%の多クラス正解率と0.311の平均絶対誤差（MAE）を達成し、既存の発表済み手法を上回った。
• 特に2度目のKLグレードの誤分類が顕著に減少し、2度目のグレードの予測精度が向上した。
• Grad-CAM可視化により、OsteoHRNetが関節間隙の狭窄や骨棘といった臨床的関連特徴に注目していることが確認されたのに対し、VGG-19は関連のない領域に注目していた。
• アブレーションスタディにより、CBAMの追加と順序付き損失の使用により、ベースラインHRNetから正解率が64.10%から71.74%に向上した。
• 手動KL評価における観察者間および観察者内ばらつきに対して、本モデルは頑健であることが示され、信頼性の高い自動評価の臨床的有用性が示唆された。
• CBAMと順序付き損失の統合により、ベースラインHRNetと比較してMAEが相対的に15.8%低減した。