[論文レビュー] Lesion2Vec: Deep Metric Learning for Few-Shot Multiple Lesions Recognition in Wireless Capsule Endoscopy Video

Sodiq Adewole, Philip Fernandez+6 more|arXiv (Cornell University)|Jan 11, 2021

Gastrointestinal Bleeding Diagnosis and Treatment参考文献 34被引用数 7

ひとこと要約

本論文では、深部度量学習を用いて最小限のラベル付き例で複数の小腸病変を識別する、少サンプル病変認識フレームワーク「Lesion2Vec」を提案する。シアン型ネットワークと三重損失を活用し、少サンプル推論を実現することで、AlexNetを用いた場合、7個のサポートサンプルで91.0%のFスコアを達成し、限られた学習データでも未観測の病変タイプに優れた汎化性能を示した。

ABSTRACT

Effective and rapid detection of lesions in the Gastrointestinal tract is critical to gastroenterologist's response to some life-threatening diseases. Wireless Capsule Endoscopy (WCE) has revolutionized traditional endoscopy procedure by allowing gastroenterologists visualize the entire GI tract non-invasively. Once the tiny capsule is swallowed, it sequentially capture images of the GI tract at about 2 to 6 frames per second (fps). A single video can last up to 8 hours producing between 30,000 to 100,000 images. Automating the detection of frames containing specific lesion in WCE video would relieve gastroenterologists the arduous task of reviewing the entire video before making diagnosis. While the WCE produces large volume of images, only about 5\% of the frames contain lesions that aid the diagnosis process. Convolutional Neural Network (CNN) based models have been very successful in various image classification tasks. However, they suffer excessive parameters, are sample inefficient and rely on very large amount of training data. Deploying a CNN classifier for lesion detection task will require time-to-time fine-tuning to generalize to any unforeseen category. In this paper, we propose a metric-based learning framework followed by a few-shot lesion recognition in WCE data. Metric-based learning is a meta-learning framework designed to establish similarity or dissimilarity between concepts while few-shot learning (FSL) aims to identify new concepts from only a small number of examples. We train a feature extractor to learn a representation for different small bowel lesions using metric-based learning. At the testing stage, the category of an unseen sample is predicted from only a few support examples, thereby allowing the model to generalize to a new category that has never been seen before. We demonstrated the efficacy of this method on real patient capsule endoscopy data.

研究の動機と目的

• ワイヤレスカプセル内視鏡（WCE）におけるラベル付きデータの不足という課題に対処し、少サンプル病変認識を可能にする。
• 医療画像において費用がかかり、時間がかかる大規模なアノテート済みデータセットへの依存を低減する。
• 再訓練や広範なファインチューニングなしに、新しい未観測の病変タイプに汎化できるようにする。
• WCE動画における希少または低頻度の病変の自動検出により、診断の効率を向上させる。
• 新しい病変カテゴリのデータ収集負荷を最小限に抑えることで、臨床現場への導入を支援するフレームワークを開発する。

提案手法

• 三重損失を用いてクラス間の分離を最大化し、クラス内ばらつきを最小化するように、病変画像の深部度量埋め込みを学習するため、シアン型ニューラルネットワークアーキテクチャが採用された。
• モデルは、各エピソードが1病変クラスあたり少数の例しか含まない、少サンプル学習の枠組みで学習された。
• 推論時には、クエリ画像とサポートセットの埋め込み間の類似度スコアが、コサイン距離またはユークリッド距離を用いて計算された。
• 最適な特徴抽出性能を評価するために、異なるベースCNNアーキテクチャ（AlexNet、VGG-19、ResNet）が検証された。
• 訓練中に未観測の新しい病変カテゴリに対しても汎化できるように、度量ベースの学習戦略が採用された。
• 本システムは、希少な病変が訓練データに含まれない実際の患者WCEデータを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 深部度量学習は、最小限のラベル付き例で、ワイヤレスカプセル内視鏡における複数の病変タイプの効果的な少サンプル認識を可能にするか？
• RQ2 サポートサンプルの数が、WCEデータにおける少サンプル病変認識の性能にどのように影響するか？
• RQ3 限られたデータ下で、どのベースCNNアーキテクチャ（AlexNet、VGG-19、ResNet）が少サンプル病変認識において最高のパフォーマンスを示すか？
• RQ4 訓練データに存在しない新しい病変カテゴリに対しても、モデルは汎化可能か？
• RQ5 クラス内ばらつきや病変サイズ（例：動脈奇形）は、少サンプル状況下でのモデルの頑健性にどのように影響するか？

主な発見

• AlexNetベースのLesion2Vecモデルは、7個のサポートサンプルを用いた場合、91.0%のFスコアを達成し、VGG-19やResNetを上回った。
• 1個のサポートサンプルでのみ、ResNetモデルが最高のパフォーマンス（Fスコア：81.7%）を示したが、サポートサンプル数が増えるにつれて著しく性能が低下した。
• VGG-19モデルは、他のモデルを上回るには5個以上のサポートサンプルが必要であり、9個のサポートサンプルでピークFスコア88.8%を記録した。
• テスト段階で、訓練中に存在しなかった未観測の病変カテゴリに対しても、効果的な汎化が確認され、本モデルの少サンプル学習能力が裏付けられた。
• モデルの性能は、クラス内ばらつきおよび病変サイズに最も敏感であり、視覚的特徴が限られる小さな病変（例：動脈奇形）は、より大きな課題をもたらした。
• シアン型ネットワークフレームワークに三重損失を適用することで、多様な病変タイプにわたり正確な類似度計算が可能になり、埋め込み品質が著しく向上した。