[論文レビュー] Semi-Automatic RECIST Labeling on CT Scans with Cascaded Convolutional Neural Networks

Youbao Tang, Adam P. Harrison+3 more|arXiv (Cornell University)|Jun 25, 2018

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、空間変換ネットワーク（STN）とスタックド・アワーガラスネットワーク（SHN）を組み合わせた段階的ディーブラーニングフレームワークを提案し、CTスキャンにおける半自動的なRECISTラベリングを実現する。腫瘍領域の正規化と径の推定における直交制約を課すことにより、同定時間の短縮と放射線科医よりも低い評価者間ばらつきを達成し、DeepLesionデータセットにおいて手動ラベリングを上回る一貫性と正確性を示した。

ABSTRACT

Response evaluation criteria in solid tumors (RECIST) is the standard measurement for tumor extent to evaluate treatment responses in cancer patients. As such, RECIST annotations must be accurate. However, RECIST annotations manually labeled by radiologists require professional knowledge and are time-consuming, subjective, and prone to inconsistency among different observers. To alleviate these problems, we propose a cascaded convolutional neural network based method to semi-automatically label RECIST annotations and drastically reduce annotation time. The proposed method consists of two stages: lesion region normalization and RECIST estimation. We employ the spatial transformer network (STN) for lesion region normalization, where a localization network is designed to predict the lesion region and the transformation parameters with a multi-task learning strategy. For RECIST estimation, we adapt the stacked hourglass network (SHN), introducing a relationship constraint loss to improve the estimation precision. STN and SHN can both be learned in an end-to-end fashion. We train our system on the DeepLesion dataset, obtaining a consensus model trained on RECIST annotations performed by multiple radiologists over a multi-year period. Importantly, when judged against the inter-reader variability of two additional radiologist raters, our system performs more stably and with less variability, suggesting that RECIST annotations can be reliably obtained with reduced labor and time.

研究の動機と目的

• 放射線科医による手動RECISTラベリングの時間のかかる、主観的で一貫性のない性質に対処すること。
• 腫瘍径の測定における高い正確性を維持しながら、ラベリング時間の短縮を図ること。
• 臨床的意思決定に影響を及ぼす、RECIST測定における評価者間ばらつきの最小化。
• 放射線科医が粗い腫瘍バウンディングボックスを入力するだけでよい半自動手法の開発。人間の専門知識とディーブラーニングを統合すること。
• モデルが予測するRECISTラベルが、複数のヒト読影者よりも一貫性が高いことを実証すること。

提案手法

• 2段階の段階的フレームワークを採用：空間変換ネットワーク（STN）を用いた腫瘍領域の正規化と、マルチタスク局在ネットワークによる推定。
• STNは、共同損失最適化を用いて腫瘍領域と変換パラメータを予測するResNet-50ベースの局在ネットワークを採用。
• RECIST推定には、変更を加えたスタックド・アワーガラスネットワーク（SHN）を用い、長軸および短軸の4つのキーポイントの端点を予測。
• 推定された長軸と短軸が直交するように保つために、コサイン損失を用いた直交制約損失を導入。幾何的正確性の向上に寄与。
• STNとSHNは、局在、変換、キーポイントヒートマップの監視を統合したマルチタスク学習により、エンドツーエンドで訓練。
• 本手法は、複数の放射線科医によるRECISTラベルを用いて、DeepLesionデータセット上で学習され、コンSENSUSモデルが作成された。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、CTスキャンにおける手動RECISTラベリングの時間と主観性を低減できるか？
• RQ2 STNとSHNを組み合わせた段階的CNNアーキテクチャは、ヒト読影者よりも一貫性のあるRECIST測定を実現できるか？
• RQ3 空間変換ネットワークの統合により、サイズ・方向・位置の変動に強い性能が向上するか？
• RQ4 コサイン損失による長軸と短軸の直交性の強制は、RECIST推定の正確性を向上させるか？
• RQ5 マルチレーティングラベルで学習したにもかかわらず、モデルの評価者間ばらつきはヒト読影者のそれよりも低くなるか？

主な発見

• 提案手法（STN+SHN）は、放射線科医のラベルと比較して、両方の軸の位置および長さにおいて最小の平均差と標準偏差を達成し、優れた一貫性を示した。
• モデルのRECIST推定誤差は、長軸長さで4.47 ± 6.26 mm、短軸長さで2.68 ± 4.31 mmであり、すべてのアブレーションバージョンを上回った。
• 2名の追加放射線科医と比較して、長軸長さの標準偏差が6.26 mm、短軸長さが4.31 mmと、より低いばらつきを示した。
• アブレーションスタディにより、マルチタスクSTNおよび直交制約損失の両方が性能向上に寄与することが確認され、STN+SHNが他のすべての設定を上回った。
• モデルの予測は、DeepLesionデータセットのマルチレーティングコンセンサスラベルに最も近かったため、一般化され、バイアスのないRECIST測定の表現を学習したと示唆された。
• 本フレームワークにより、粗いバウンディングボックスの入力のみで半自動ラベリングが可能となり、放射線科医の作業負荷を著しく軽減しながら、高い正確性と一貫性を維持した。