[論文レビュー] A Cross-Stitch Architecture for Joint Registration and Segmentation in Adaptive Radiotherapy.

Laurens Beljaards, Mohamed S. Elmahdy+2 more|arXiv (Cornell University)|Jan 25, 2020

Advanced Radiotherapy Techniques被引用数 1

ひとこと要約

本論文では、適応的遠位線照射における画像のアライメントと臓器のセグメンテーションを同時に学習するクロスステッチニューラルネットワークアーキテクチャを提案する。このアーキテクチャにより、タスク間で学習可能な特徴量の交換が可能となり、検証において前立腺で1.06±0.3 mm、直腸で1.76±0.8 mmの平均表面距離を達成した。これは単一タスクや損失関数による統合ネットワークを上回り、臨床ワークフローに組み込める迅速な推論が可能である。

ABSTRACT

Recently, joint registration and segmentation has been formulated in a deep learning setting, by the definition of joint loss functions. In this work, we investigate joining these tasks at the architectural level. We propose a registration network that integrates segmentation propagation between images, and a segmentation network to predict the segmentation directly. These networks are connected into a single joint architecture via so-called cross-stitch units, allowing information to be exchanged between the tasks in a learnable manner. The proposed method is evaluated in the context of adaptive image-guided radiotherapy, using daily prostate CT imaging. Two datasets from different institutes and manufacturers were involved in the study. The first dataset was used for training (12 patients) and validation (6 patients), while the second dataset was used as an independent test set (14 patients). In terms of mean surface distance, our approach achieved $1.06 \pm 0.3$ mm, $0.91 \pm 0.4$ mm, $1.27 \pm 0.4$ mm, and $1.76 \pm 0.8$ mm on the validation set and $1.82 \pm 2.4$ mm, $2.45 \pm 2.4$ mm, $2.45 \pm 5.0$ mm, and $2.57 \pm 2.3$ mm on the test set for the prostate, bladder, seminal vesicles, and rectum, respectively. The proposed multi-task network outperformed single-task networks, as well as a network only joined through the loss function, thus demonstrating the capability to leverage the individual strengths of the segmentation and registration tasks. The obtained performance as well as the inference speed make this a promising candidate for daily re-contouring in adaptive radiotherapy, potentially reducing treatment-related side effects and improving quality-of-life after treatment.

研究の動機と目的

• 深層学習を用いて適応的遠位線照射における日常的臓器の輪郭抽出の精度と効率を向上させること。
• 分離されたネットワークや損失関数による統合に起因する制限を克服し、アーキテクチャレベルでの統合を実現すること。
• 学習可能なパrameter化されたメカニズムにより、アライメントとセグメンテーションタスク間で双方向の特徴量学習を可能にすること。
• 多施設・多メーカーの前立腺CTデータセットを用いて、妥当性と一般化性能を検証すること。
• 日常のワークフローに統合可能な迅速な推論速度を確保することで、臨床応用を支援すること。

提案手法

• アライメントネットワークとセグメンテーションネットワークを接続するためのクロスステッチユニットを導入し、共有特徴量とタスク固有の特徴量学習を可能にする。
• アライメントネットワークは空間変換を用いて画像間でセグメンテーションマスクを伝搬するのに対し、セグメンテーションネットワークは直接的に臓器の境界を予測する。
• クロスステッチユニットにより、各ネットワークからの特徴量に異なる融合重みを適用することで、タスク間で学習可能で適応的な情報フローが実現される。
• アーキテクチャ全体は、アライメント損失とセグメンテーション損失を含む統合損失関数で学習され、両タスクを同時に最適化する。
• モデルは2つのデータセットで評価された：1つは学習・検証用（12例、うち6例を検証用に使用）、もう1つは別施設・別スキャナーからの独立したテストセット（14例）。
• 推論は1回の順伝播で実行され、臨床現場でのリアルタイム応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 損失関数による統合と比較して、アーキテクチャレベルでの統合が性能向上をもたらすか？
• RQ2 クロスステッチユニットによる学習可能な特徴量交換が、アライメントとセグメンテーションの両方の精度を向上させるか？
• RQ3 本手法は、異なる画像プロトコルやスキャナー製造元間で一般化できるか？
• RQ4 連合ネットワークは、適応的遠位線照射における日常的臨床利用に十分な速度と精度を達成できるか？
• RQ5 アーキテクチャ的統合が、前立腺、膀胱、精巣巣、直腸といった重要な臓器の平均表面距離に与える影響は何か？

主な発見

• 提案されたクロスステッチアーキテクチャは、検証セットにおいて前立腺で1.06±0.3 mmの平均表面距離を達成し、単一タスクおよび損失関数による統合ベースラインを上回った。
• 直腸では検証セットで1.76±0.8 mmを達成し、形状や強度特性の異なる臓器に対しても堅牢性を示した。
• 独立したテストセットでは、前立腺で1.82±2.4 mm、直腸で2.57±2.3 mmを達成し、施設やスキャナー間での強力な一般化性能を示した。
• 単一タスクネットワークおよび損失関数でのみ統合されたモデルと比較して、連合ネットワークは顕著に優れた性能を示し、アーキテクチャ的統合の有効性を確認した。
• 推論速度は、日常的再輪郭抽出に適した十分な速さであった。
• 結果から、本手法により、正確で自動化された日常的輪郭抽出が可能となり、治療関連の副作用が低減し、患者の生活の質が向上する可能性がある。