[論文レビュー] Early detection of knee osteoarthritis using deep learning on knee magnetic resonance images

Anastasis Alexopoulos, Jukka Hirvasniemi+1 more|arXiv (Cornell University)|Sep 2, 2022

Osteoarthritis Treatment and Mechanisms被引用数 5

ひとこと要約

本研究では、MRIスキャンと患者データを用いて早期膝変形性関節症（OA）を検出するためのディープラーニングフレームワークを開発した。TSEおよびDESS画像系列に、U-Netベースのセグメンテーション、画像登録、および3つのディープラーニングアーキテクチャ（ResNet、DenseNet、CVAE）を組み合わせた。患者データと統合した際、CVAEが最高のAUC 0.6699を達成し、臨床的変数の統合が早期OA予測の向上に寄与することを示した。

ABSTRACT

The aim of this study was to investigate the influence of MRI and patient data on the prediction of knee osteoarthritis (OA) incidence using different deep learning architectures. Knee OA incidence within 24 months was predicted using the intermediate-weighted turbo spin-echo (IW-TSE) sequence of 593 patients from the Osteoarthritis Initiative. To extract a region of interest containing the knee joint from the IW-TSE sequence, a U-Net model was trained and used to segment bone on a dual echo steady state (DESS) sequence. Subsequently, IW-TSE and DESS sequences were registered and the DESS segmentations were transformed to the corresponding IW-TSE scans. The performance of MRI-based features in the prediction of knee OA incidence was tested using three different deep learning architectures: a residual network (ResNet), a densely connected convolutional network (DenseNet), and a convolutional variational autoencoder (CVAE). To evaluate the predictive performance of MRI-based features alone, the outputs of ResNet, DenseNet, and CVAE were coupled with patient data (i.e., age, gender, BMI) and used as input to a Logistic Regression (LR) Classifier. Knee OA was defined based on visual MRI and X-ray-based OA features. The ResNet and DenseNet showed similar results, with both methods having the area under the receiver operating characteristic curve (AUC) values up to 0.6269. The best performing OA detection model was CVAE with an AUC of 0.6699 when combined with patient data and an AUC of 0.6689 when used alone as input to the LR classifier. The results showed that three deep learning algorithms have similar metrics when using IW-TSE MRIs and their performance increased with the inclusion of patient data, which shows the strong influence of variables such as age, gender, and BMI on the detection of knee OA.

研究の動機と目的

• 24か月以内の早期膝変形性関節症（OA）発症に対する、膝MRI画像系列からの特徴量の予測能を調査すること。
• 患者データ（年齢、性別、BMI）を統合することで、ディープラーニングモデルのOA予測性能に与える影響を評価すること。
• 画像セグメンテーション、登録、ディープラーニングを統合したパイプラインを構築し、早期OA兆候の検出を向上させること。
• ResNet、DenseNet、CVAEという3つのディープラーニングアーキテクチャが、MRI由来の特徴量を用いてOA予測に与える性能を比較すること。
• 画像系列（IW-TSEおよびDESS）とその整合性が、予測精度に与える影響を評価すること。

提案手法

• 膝関節のための領域としてのROIを生成するために、二重エコー定常状態（DESS）画像系列にU-Netモデルを訓練し、骨構造をセグメンテーションした。
• 画像登録技術を用いて、DESS画像と中間加重トルボスピンエコー（IW-TSE）画像系列を、解剖学的構造が一致するように登録した。
• 登録マップを用いた空間変換により、DESS画像で得られた骨セグメンテーションを、対応するIW-TSEスキャンに移行した。
• ResNet、DenseNet、および畳み込み変動オートエンコーダ（CVAE）という3つのディープラーニングアーキテクチャを用いて、IW-TSE MRIスキャンから特徴量を抽出した。
• 各モデルのディープ特徴量を、患者データ（年齢、性別、BMI）と統合し、ロジスティック回帰分類器に供給してOA発症予測を行った。
• 24か月間の膝OA発症を定義する基準として、視覚的MRIおよびX線ベースのOA特徴量を用いた。

実験結果

リサーチクエスチョン

• RQ1 IW-TSEおよびDESS MRI画像系列で訓練されたディープラーニングモデルは、高い予測精度で早期膝変形性関節症を検出できるか？
• RQ2 患者データ（年齢、性別、BMI）の統合が、MRIベースのディープラーニングモデルの膝OA発症予測性能に与える影響はいかほどか？
• RQ3 ResNet、DenseNet、CVAEのうち、どのディープラーニングアーキテクチャが、MRI特徴量を用いた早期膝OA検出において最高の予測性能を示すか？
• RQ4 画像登録およびセグメンテーションは、膝MRIにおける微細な早期OA変化を検出するディープラーニングモデルの精度向上にどの程度寄与するか？
• RQ5 異なるMRI画像系列（IW-TSE対DESS）は、ディープラーニングおよび患者データと組み合わせた場合、早期OA検出にどの程度寄与するか？

主な発見

• 患者データと統合した際、畳み込み変動オートエンコーダ（CVAE）が最高の受信者リポーティング特性曲線下積分（AUC）0.6699を達成し、ResNetやDenseNetを上回った。
• 単体で使用した場合、CVAEはAUC 0.6689を達成し、MRI特徴量そのものの強い予測力が示された。
• ResNetとDenseNetは同等の性能を示し、最大AUC値は0.6269であった。CVAEに比べてやや低いが、一貫した性能を示した。
• 患者データ（年齢、性別、BMI）の統合により、すべてのディープラーニングモデルの予測性能が顕著に向上した。臨床的変数がOA発症に与える強い影響が示された。
• U-Netセグメンテーション、画像登録、ディープラーニングを統合したパイプラインは、MRIスキャンから関連する特徴量を効果的に抽出でき、信頼性の高い早期OA予測を可能にした。
• 本研究では、高解像度MRI画像系列で訓練されたディープラーニングモデルが、臨床的症状が現れる前でさえも、膝OA関連の構造的変化を検出可能であることが確認された。