[論文レビュー] Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces

Kshitiz Gupta, Garvit Garg+1 more|arXiv (Cornell University)|Aug 31, 2023

COVID-19 diagnosis using AIMedicine被引用数 3

ひとこと要約

本論文では、ランダムな判別的部分空間のアンサンブルを用いて、迅速かつ効率的な少サンプル学習手法を提案する。この手法は、既存の手法よりも精度が高く、t-SVDに基づく手法と比較して約1.8倍速く、少量のラベル付きデータにおける分類性能を向上させる。本手法は、良好に分離された判別的部分空間を生成するための新規損失関数を用いる。

ABSTRACT

Due to the scarcity of annotated data in the medical domain, few-shot learning may be useful for medical image analysis tasks. We design a few-shot learning method using an ensemble of random subspaces for the diagnosis of chest x-rays (CXRs). Our design is computationally efficient and almost 1.8 times faster than method that uses the popular truncated singular value decomposition (t-SVD) for subspace decomposition. The proposed method is trained by minimizing a novel loss function that helps create well-separated clusters of training data in discriminative subspaces. As a result, minimizing the loss maximizes the distance between the subspaces, making them discriminative and assisting in better classification. Experiments on large-scale publicly available CXR datasets yield promising results. Code for the project will be available at https://github.com/Few-shot-Learning-on-chest-x-ray/fsl_subspace.

研究の動機と目的

• 胸部X線診断における少サンプル学習の文脈で、限られたラベル付き医療画像データの課題に対処すること。
• t-SVDのような既存の部分空間分解手法の代替として、計算的に効率的な手法を開発すること。
• 新規損失関数を用いて、低相関性で判別的な部分空間を生成することで、分類精度を向上させること。
• 医療画像分野における有効な少サンプル学習を、各クラスに対して少数のラベル付き例しか使用しない条件下で実現すること。

提案手法

• 特徴抽出モジュール（FEM）を備えた3モジュールパイプラインを採用。FEMは、微調整を施したEfficientNet-B7を用いて特徴抽出を実行。
• 部分空間埋め込みモジュール（SEM）は、学習可能な全結合層を用いて特徴を複数のランダムで判別的な部分空間に投影。
• 部分空間間の類似性を最小化し、部分空間間の分離度を最大化するための新規判別損失を適用。
• 各部分空間における平均埋め込みとのL2距離を計算し、その後にソフトマックスを用いてクラス確率を算出。
• 最終意思決定モジュール（FDM）は、複数の部分空間における予測を統合して最終的なラベルを割り当てる。
• 部分空間の判別力を強化するための複合損失を最小化することで、モデルをエンドツーエンドで最適化。

Figure 1: Pipeline of the proposed method. Our model consists of a feature extraction module (FEM), a subspace embedding module (SEM), and a final decision module (FDM). FEM extracts visual features from the chest x-ray images. SEM projects the extracted feature vectors into multiple random subspace

実験結果

リサーチクエスチョン

• RQ1 最小限のラベル付きデータで、ランダム部分空間のアンサンブルが胸部X線診断における競争力ある少サンプル分類性能を達成できるか？
• RQ2 本手法は、t-SVDに基づく部分空間分解手法と比較して、精度と速度の両面で優れているか？
• RQ3 新規判別損失関数は、部分空間間の分離度を効果的に向上させ、分類性能を改善するか？
• RQ4 少サンプルCX-R診断において、最良のパフォーマンスを得るために最適な部分空間の数は何か？

主な発見

• 本手法は、NIH CXRデータセットにおける3クラス5ショット分類タスクで、複数のテストクラスにおいて最先端または競争力のある精度を達成した。
• 30個の部分空間を用いた場合、Group1（線維症、ヘルニア、肺炎）で平均精度42.82％を記録し、ProtoNet や MatchingNet を上回った。
• GTX 1080 Tiで1エポックあたり、DSN（t-SVDを用いる）の18分35秒対33分48秒という結果から、本手法は約1.8倍速く、1エポックあたりの処理速度が向上した。
• Group3（肺水腫、肺気腫、実質化）では65.16％の精度を達成し、DSN（肺水腫では68.00％だが、他のクラスでは低かった）を顕著に上回った。
• アブレーションスタディの結果、30個の部分空間が最適なパフォーマンスをもたらすことが確認され、部分空間数がモデル効果に強い影響を与えることが示された。
• 新規損失関数は、部分空間間の類似度を効果的に低減し、クラス間分離度を向上させ、分類のロバスト性が向上した。

Figure 2: Sample results of the prediction (P) by the proposed method and the ground truth (GT) for images of novel classes. Correct and incorrect detections are marked in green and red, respectively.