[論文レビュー] Efficient and Accurate Pneumonia Detection Using a Novel Multi-Scale Transformer Approach

Ahmed Saber, Amirreza Fateh+4 more|arXiv (Cornell University)|Aug 8, 2024

Advanced Chemical Sensor Technologies被引用数 4

ひとこと要約

本稿では、胸部レントゲン画像からの肺炎検出に向け、効率的で高精度なマルチスケール変換器ベースの手法を提案する。肺のセグメンテーションにTransUNetを用い、ResNetバックボーンからの特徴マップに軽量な変換器モジュールを適用する。本手法は、Kermanyデータセットで92.79%、Cohenデータセットで95.11%の精度を達成し、標準的な変換器と比較してパrameter数を少なくしたにもかかわらず、顕著な性能向上を示した。

ABSTRACT

Pneumonia, a prevalent respiratory infection, remains a leading cause of morbidity and mortality worldwide, particularly among vulnerable populations. Chest X-rays serve as a primary tool for pneumonia detection; however, variations in imaging conditions and subtle visual indicators complicate consistent interpretation. Automated tools can enhance traditional methods by improving diagnostic reliability and supporting clinical decision-making. In this study, we propose a novel multi-scale transformer approach for pneumonia detection that integrates lung segmentation and classification into a unified framework. Our method introduces a lightweight transformer-enhanced TransUNet for precise lung segmentation, achieving a Dice score of 95.68% on the "Chest X-ray Masks and Labels" dataset with fewer parameters than traditional transformers. For classification, we employ pre-trained ResNet models (ResNet-50 and ResNet-101) to extract multi-scale feature maps, which are then processed through a modified transformer module to enhance pneumonia detection. This integration of multi-scale feature extraction and lightweight transformer modules ensures robust performance, making our method suitable for resource-constrained clinical environments. Our approach achieves 93.75% accuracy on the "Kermany" dataset and 96.04% accuracy on the "Cohen" dataset, outperforming existing methods while maintaining computational efficiency. This work demonstrates the potential of multi-scale transformer architectures to improve pneumonia diagnosis, offering a scalable and accurate solution to global healthcare challenges. https://github.com/amirrezafateh/Multi-Scale-Transformer-Pneumonia

研究の動機と目的

• 放射線科医の解釈にばらつきが生じる発展途上地域における肺炎診断の不一致の問題に対処すること。
• ディープラーニングとアテンションメカニズムを活用し、肺炎検出の精度と効率を向上させること。
• 高パフォーマンスを維持しながら、変換器ベースの医療画像分類におけるモデルの複雑さとパラメータ数を低減すること。
• 関連する解剖学的領域に注目し、ノイズを低減するために肺のセグメンテーションを統合することで分類性能を向上させること。
• リソース制限のある臨床環境に適した、実装可能で効率的なソリューションを開発すること。

提案手法

• 肺のセグメンテーションは、Chest Xray Masks and Labelsデータセットで訓練された、パラメータ効率の良い新規変換器モジュールを備えた拡張版TransUNetモデルを用いて実施される。
• セグメンテーションされた肺領域が抽出され、それらがResNet-50およびResNet-101モデルの微調整に使用され、マルチスケール特徴抽出が行われる。
• 変更を加えた軽量な変換器モジュールがマルチスケール特徴を処理し、長距離依存関係をモデル化し、肺領域内の重要なパターンに注目する。
• ImageNetで事前学習された重みで初期化し、KermanyおよびCohenの肺炎データセットで微調整することで、トランスファー学習が実施される。
• セグメンテーションとアテンションメカニズムの統合により、背景ノイズが低減され、分類に向けた特徴の関連性が向上する。
• 本手法の評価は、生画像とセグメンテーション画像の入力における性能を比較するアブレーションスタディを通じて実施される。

Figure 1 : the overview of proposed method

実験結果

リサーチクエスチョン

• RQ1 標準的な変換器と比較して、パrameter数を削減しつつ、マルチスケールな軽量変換器モジュールが肺炎分類の精度を向上させることができるか？
• RQ2 TransUNetを用いた肺のセグメンテーションは、その後続の肺炎分類モデルの性能にどのような影響を与えるか？
• RQ3 セグメンテーション処理を施したマルチスケール特徴フレームワークにアテンションメカニズムを統合することで、胸部レントゲン画像データセットにおける診断精度はどの程度向上するか？
• RQ4 本手法は、既存の最先端の変換器ベースの肺炎検出モデルと比較して、より少ないパラメータ数で優れた性能を達成できるか？
• RQ5 本手法は、少ないパラメータ数と効率的な設計のおかげで、リソース制限のある環境でも高い精度を維持できるか？

主な発見

• 提案手法は、Kermanyデータセットで92.79%、Cohenデータセットで95.11%の精度を達成し、優れた一般化性能と頑健性を示した。
• 肺セグメンテーションマスクの統合により、ResNet-50では2パーセンテージポイント、ResNet-101では2.73パーセンテージポイントの分類精度向上が確認された。
• 生画像と比較して、セグメンテーション画像を用いた場合、精度、再現率、F1スコア、AUCが向上し、誤分類が低減していることが示された。
• アブレーションスタディの結果、セグメンテーションによりノイズが顕著に低減され、両方のResNetバックボーンにおいて一貫した性能向上が得られた。
• 提案された変換器モジュールは、標準的な変換器と比較して少ないパラメータ数で高い性能を維持しており、リソースが限られた環境での展開に適している。
• 混同行列の結果、予測された肺マスクを用いることで、特に肺炎およびCOVID-19カテゴリにおいて、誤検出（偽陽性）と誤判別（偽陰性）が一貫して減少した。

Figure 2 : the overview of transformer