[論文レビュー] Autonomous Driving in the Lung using Deep Learning for Localization

Jake Sganga, David Eng+2 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

本稿では、術前CTスキャンを用いて、動画ベースのリアルタイムな気管支鏡位置特定を可能にする深層学習モデル、AirwayNetとBifurcationNetを提案する。模擬的気管支内視鏡画像で訓練されたAirwayNetは、フィジカルフォントデータで0.97のAUPRCを達成し、95％の試行で自律走行を実現し、生検標的の正確性を著しく向上させる。

ABSTRACT

Lung cancer is the leading cause of cancer-related death worldwide, and early diagnosis is critical to improving patient outcomes. To diagnose cancer, a highly trained pulmonologist must navigate a flexible bronchoscope deep into the branched structure of the lung for biopsy. The biopsy fails to sample the target tissue in 26-33% of cases largely because of poor registration with the preoperative CT map. To improve intraoperative registration, we develop two deep learning approaches to localize the bronchoscope in the preoperative CT map based on the bronchoscopic video in real-time, called AirwayNet and BifurcationNet. The networks are trained entirely on simulated images derived from the patient-specific CT. When evaluated on recorded bronchoscopy videos in a phantom lung, AirwayNet outperforms other deep learning localization algorithms with an area under the precision-recall curve of 0.97. Using AirwayNet, we demonstrate autonomous driving in the phantom lung based on video feedback alone. The robot reaches four targets in the left and right lungs in 95% of the trials. On recorded videos in eight human cadaver lungs, AirwayNet achieves areas under the precision-recall curve ranging from 0.82 to 0.997.

研究の動機と目的

• 術前CTスキャンとの術中登録不良が原因で生じる気管支鏡生検の失敗率（26–33％）を低減すること。
• 画像ベースのリアルタイム位置特定システムを構築し、動画フィードバックのみを用いて自律的気管支鏡走行を可能にすること。
• 従来のコンピュータビジョン手法の限界を克服すること。特に、低テクスチャの気道画像や特徴点追跡の困難さに対処すること。
• 深層学習とパーティクルフィルタを統合し、複雑な分岐構造を持つ気道における位置特定のロバスト性を高めること。
• 内視鏡からの視覚入力のみを用いて閉ループロボット気管支鏡を実現する可能性を実証すること。

提案手法

• AirwayNetは、ResNet-18 CNNを用い、気管支鏡動画フレームから気道特徴（例えば、中心線、分岐点）を推定し、術前CTにおける患者特異的気道スケルトンにマッピングする。
• BifurcationNetは、動画に見える分岐点をCTベースの分岐点と照合するためにパーティクルフィルタを採用し、適合確率と事前確率（挿入深さと以前に確認された気道への近接度）に基づいて評価する。
• 適合確率は、測定された気道方向とCTから導出された子気道方向とのコサイン角差のガウス分布を用いて計算され、最適なロールアライメントは順列探索によって達成される。
• 事前確率は、挿入深さの尤度、以前に確認された気道（1–3世代以内）への近接度、および以前に推定された位置・ロールとの空間的一致性を組み合わせる。
• パーティクルフィルタは、最大の後確率を持つ分岐点を選択し、リアルタイムで気管支鏡の3次元位置と姿勢を推定する。
• 両モデルは、実データ収集を回避するため、患者特異的CTスキャンから生成された合成気管支内視鏡画像のみで訓練されている。

実験結果

リサーチクエスチョン

• RQ1 内視鏡からの動画フレームのみを用いて、深層学習モデルがリアルタイムで気管支鏡を正確に位置特定できるか？
• RQ2 ビジョンベースの位置特定システムは、十分な精度を達成し、分岐気道樹における自律走行を可能にするか？
• RQ3 深層学習とパーティクルフィルタを統合することで、気道画像における閉塞や曖昧な特徴に対するロバスト性がどのように向上するか？
• RQ4 フィジカルフォントおよびドーナツモデルにおける位置特定精度と自律走行成功率という観点で、システムの性能はいかほどか？
• RQ5 実世界での微調整を必要とせず、多様な気道幾何形状に一般化可能か？

主な発見

• AirwayNetは、フィジカルフォントでの記録動画でAUPRCが0.97を達成し、他の深層学習位置特定手法を上回った。
• AirwayNetを用いたフィジカルフォントにおける自律走行は、95％の試行で成功し、左右肺にそれぞれ4か所の所定のターゲットに到達した。
• 8例の人体ドーナツ肺において、AirwayNetはAUPRCが0.82から0.997の範囲で変動し、解剖的変異に強く一般化できることを示した。
• BifurcationNetのパーティクルフィルタは、適合確率と空間的・時間的事前確率を組み合わせることで、分岐点マッチングの曖昧さを効果的に解消し、位置特定の安定性を向上させた。
• システムはリアルタイムで動作し、内視鏡からの視覚フィードバックのみを用いて閉ループ制御によるロボット気管支鏡を可能にした。
• 完全にシミュレートされた画像での訓練により、アノテート済みの実際の気管支内視鏡データを一切必要とせず、高い性能を発揮した。