[論文レビュー] A framework for dynamically training and adapting deep reinforcement learning models to different, low-compute, and continuously changing radiology deployment environments

Guangyao Zheng, Shuhao Lai+3 more|arXiv (Cornell University)|Jun 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、画像コアセット圧縮を用いて、進化する放射線科環境における深層強化学習（DRL）モデルの効率的で低計算負荷のデプロイを可能にする、動的で継続的強化学習フレームワークを提案する。近接領域平均化、感受性に基づくサンプリング、最大エントロピーコアセット手法を用いて27倍の画像圧縮を実現し、計算負荷を低減しながらも性能を維持した。解剖学的ランドマークの局在化において平均距離誤差11.97±12.02 mmを達成し、従来の継続的学習手法（19.24±50.77 mm）と比較して顕著に優れた性能を示した。

ABSTRACT

While Deep Reinforcement Learning has been widely researched in medical imaging, the training and deployment of these models usually require powerful GPUs. Since imaging environments evolve rapidly and can be generated by edge devices, the algorithm is required to continually learn and adapt to changing environments, and adjust to low-compute devices. To this end, we developed three image coreset algorithms to compress and denoise medical images for selective experience replayed-based lifelong reinforcement learning. We implemented neighborhood averaging coreset, neighborhood sensitivity-based sampling coreset, and maximum entropy coreset on full-body DIXON water and DIXON fat MRI images. All three coresets produced 27x compression with excellent performance in localizing five anatomical landmarks: left knee, right trochanter, left kidney, spleen, and lung across both imaging environments. Maximum entropy coreset obtained the best performance of $11.97\pm 12.02$ average distance error, compared to the conventional lifelong learning framework's $19.24\pm 50.77$.

研究の動機と目的

• 大規模DRLモデルを、高い計算要求が課されるエッジベースの放射線科環境にデプロイする課題に対処すること。
• DIXON法による水と脂肪のMRI画像の違いなど、新しい画像シーケンスに適応する必要がある継続的学習の場面で、過去の知識を失う「崩壊的忘却」を克服すること。
• 常に変化する医療画像環境（多様なMRIシーケンスや解剖的方位を含む）に、効率的かつリアルタイムにDRLモデルを適応可能にすること。
• 複数の画像モodalおよび解剖的タスクにわたる継続的学習をサポートするスケーラブルで計算リソースが軽量なフレームワークを構築し、再訓練を必要としないこと。
• 圧縮された代表的画像コアセットを用いた選択的経験再生により、多様な臨床的画像条件におけるモデルの汎化性と耐性を向上させること。

提案手法

• 入力MRIデータを学習前に圧縮する画像コアセット技術を用いた、選択的経験再生に基づく継続的強化学習フレームワーク（ICSERIL）を提案する。
• 3つのコアセット手法を実装：近接領域平均化（3次元ボクセル立方体の平均値）、近接領域感受性に基づくサンプリング（各立方体の中心ボクセルを選択）、最大エントロピーコアセット（3次元立方体内でエントロピーが最も高いボクセルを選択）。
• 全三次元（x, y, z）に3倍のスケーリング比を適用し、全身DIXON MRI画像を27倍に圧縮しながら、構造的および強度情報の保持を実現した。
• エージェントの状態表現として3次元バウンディングボックス（15×15×9）を用い、コアセット画像上で効率的な推論を実現。予測結果は元の解像度にスケーリングして再構成した。
• DIXON水画像とDIXON脂肪画像を交互に使用したシーケンスでエージェントを学習し、状態-行動-報酬-次状態のタプルを格納する経験再生バッファ（ERB）を用いて継続的学習を可能にした。
• エントロピーに基づくサンプリングを統合し、画像内の情報量の多い領域を優先することで、圧縮データにおける特徴表現を強化し、局在化性能の向上を図った。

Figure 1 : Illustration of catastrophic forgetting. (A) Model 1 is trained on DIXON fat data, and it is able to localize the right trochanter. (B) When Model 1 encounters DIXON water data, it cannot localize the right trochanter. (C) When we finetune Model 1 on DIXON water data to produce Model 2, i

実験結果

リサーチクエスチョン

• RQ1 画像コアセット圧縮技術は、計算リソースが限られた放射線科環境におけるDRLモデルの計算負荷を著しく低減しつつ、局在化精度を損なわずに実現できるか？
• RQ2 平均化、感受性に基づく、最大エントロピーの3つの異なるコアセット選択戦略は、DRLベースのランドマーク局在化に必要な解剖的情報をどれほど効果的に保持できるか？
• RQ3 DIXON水画像と脂肪画像の変化に適応する際、提案されたICSERILフレームワークは、複数の解剖的ランドマークに対して、崩壊的忘却をどの程度軽減できるか？
• RQ4 経験再生に圧縮されたコアセットを用いることで、多様な画像環境やタスクにわたるDRLエージェントの汎化性と耐性が向上するか？
• RQ5 コアセットベースの圧縮を用いる継続的DRLにおける、計算効率（1エポックあたりの学習時間）と性能（局在化誤差）のトレードオフはどのようなものか？

主な発見

• 最大エントロピーコアセット手法が最良のランドマーク局在化性能を達成し、平均距離誤差は11.97±12.02 mmであった。これは従来の継続的学習ベースライン（19.24±50.77 mm）と比較して顕著に優れていた。
• 3つのコアセット手法すべてが、全身DIXON MRI画像を27倍に圧縮しながらも、左膝、右トロカントル、左腎臓、脾臓、肺の5つの解剖的ランドマークにおいて高い局在化精度を維持した。
• 最大エントロピーコアセットを用いたICSERILフレームワークは、従来の継続的学習手法と比較して平均局在化誤差を37.8％低減し、より優れた耐性と汎化性を示した。
• 提案フレームワークは、従来のLLベースラインと比較して1エポックあたりの学習時間を2.5倍短縮した。これは、低解像度入力であるにもかかわらず、計算効率が向上したことを示している。
• 近接領域感受性に基づくサンプリングコアセットは中程度の性能を示し、平均誤差は13.85±14.11 mmであった。これは、代表的サンプリングが有効であるが、エントロピーに基づく選択よりは劣ると示唆された。
• 統計的分析により、最大エントロピーコアセットが従来手法を上回る性能向上が有意であった（p < 0.05）ことが確認され、低計算リソース制約下での継続的学習における有効性が裏付けられた。

Figure 2 : Illustration of the two different full-body MRI imaging environments (DIXON water denoted ”W” and DIXON fat denoted ”F”), and the five different anatomical landmark localization tasks (left knee, right trochanter, left kidney, spleen, and lung). The performance of the ICSERIL models with