[論文レビュー] ESFPNet: efficient deep learning architecture for real-time lesion segmentation in autofluorescence bronchoscopic video

Chang Qi, Danish Ahmad+3 more|arXiv (Cornell University)|Jul 15, 2022

Lung Cancer Diagnosis and Treatment被引用数 4

ひとこと要約

ESFPNet は、事前学習済みの Mix Transformer (MiT) エンコーダーと効率的な段階的特徴マップピラミッド（ESFP）デコーダーを活用した、自己蛍光気管支鏡検査（AFB）動画における自動気管支病変セグメンテーションのためのリアルタイムディープラーニングアーキテクチャである。平均 Dice スコアは 0.756、1 秒あたり 27 フレームの処理速度を達成し、臨床現場での実用的リアルタイム利用を可能にした。

ABSTRACT

Lung cancer tends to be detected at an advanced stage, resulting in a high patient mortality rate. Thus, much recent research has focused on early disease detection Bronchoscopy is the procedure of choice for an effective noninvasive way of detecting early manifestations (bronchial lesions) of lung cancer. In particular, autofluorescence bronchoscopy (AFB) discriminates the autofluorescence properties of normal (green) and diseased tissue (reddish brown) with different colors. Because recent studies show AFB's high sensitivity in searching lesions, it has become a potentially pivotal method in bronchoscopic airway exams. Unfortunately, manual inspection of AFB video is extremely tedious and error prone, while limited effort has been expended toward potentially more robust automatic AFB lesion analysis. We propose a real-time (processing throughput of 27 frames/sec) deep-learning architecture dubbed ESFPNet for accurate segmentation and robust detection of bronchial lesions in AFB video streams. The architecture features an encoder structure that exploits pretrained Mix Transformer (MiT) encoders and an efficient stage-wise feature pyramid (ESFP) decoder structure. Segmentation results from the AFB airway-exam videos of 20 lung cancer patients indicate that our approach gives a mean Dice index = 0.756 and an average Intersection of Union = 0.624, results that are superior to those generated by other recent architectures. Thus, ESFPNet gives the physician a potential tool for confident real-time lesion segmentation and detection during a live bronchoscopic airway exam. Moreover, our model shows promising potential applicability to other domains, as evidenced by its state-of-the-art (SOTA) performance on the CVC-ClinicDB, ETIS-LaribPolypDB datasets, and superior performance on the Kvasir, CVC-ColonDB datasets.

研究の動機と目的

• 自己蛍光気管支鏡検査（AFB）動画における病変同定の自動化により、早期肺がん検出の重要かつ緊急なニーズに対応する。
• 手作業による AFB 動画レビューの限界を克服する。これは煩わしく、誤りが生じやすく、時間がかかる。
• AFB 動画ストリームにおける気管支病変のセグメンテーションに、リアルタイムで正確かつ頑健なディープラーニングモデルを開発する。
• 気管支鏡検査にとどまらず、多様な医療画像分野への一般化を保証する。
• セグメンテーション精度を損なわず、高い推論速度を維持することで、ライブ気管支鏡検査中の利用を可能にする。

提案手法

• 階層的特徴抽出のため、事前学習済みの Mix Transformer (MiT) エンコーダーを搭載した、U-Net を模したエンコーダー・デコーダー構造を採用する。
• マルチスケールの文脈を効果的に統合するため、効率的な段階的特徴マップピラミッド（ESFP）デコーダーを設計する。
• 複数のデコーダーステージで特徴学習とセグメンテーション精度を向上させるために、ディープスーパービジョンを統合する。
• 軽量でパラメータ効率の良いコンponents を活用し、性能を維持したまま高い推論速度（1 秒 27 フレーム）を実現する。
• 20 例の肺がん患者から得た 208 フレームの AFB データセット上で、エンドツーエンドにモデルを学習する。
• 一般化性能を向上させるために、トランスファー学習およびドメイン適応技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、自己蛍光気管支鏡検査動画における気管支病変のリアルタイムで正確なセグメンテーションを達成できるか？
• RQ2 提案された ESFPNet アーキテクチャは、最新のモデルと比較して、セグメンテーション精度と推論速度の両面で優れているか？
• RQ3 ESFPNet モデルは、大腸ポリープ検出などの他の医療画像セグメンテーションタスクへどの程度一般化できるか？
• RQ4 段階的特徴マップピラミッドデコーダーは、従来のピラミッド構造と比較して、特徴表現を効果的に向上させているか？
• RQ5 限られた臨床的 AFB 動画データからの学習にもかかわらず、モデルは高い性能を維持できるか？

主な発見

• ESFPNet は、AFB 肺がん患者データセットにおいて、平均 Dice スコア 0.756、平均オーバーラップ率（mIoU）0.624 を達成し、他の最近のアーキテクチャを上回った。
• モデルは 1 秒 27 フレームの処理速度を達成し、ライブ気管支鏡検査プロシージャーでのリアルタイム応用を可能にした。
• CVC-ClinicDB データセットでは、ESFPNet-L が mDice 0.949、mIoU 0.907 を達成し、比較されたすべてのモデルの中で第1位となった。
• Kvasir-SEG データセットでは、ESFPNet-L が mDice 0.931、mIoU 0.887 を達成し、テストされたすべてのモデルの中で第2位となった。
• 一般化性のテストでは、ETIS-LaribPolypDB で mDice 0.827、mIoU 0.752 を、CVC-ColonDB で mDice 0.823、mIoU 0.741 を達成した。
• モデルは多様なデータセットで優れた性能を示し、医療画像セグメンテーションタスクにおける高い一般化能力と学習能力を示した。