[論文レビュー] Self-supervised Learning for Gastrointestinal Pathologies Endoscopy Image Classification with Triplet Loss

Tai Nguyen-D-P|arXiv (Cornell University)|Mar 3, 2023

Gastrointestinal Bleeding Diagnosis and Treatment被引用数 4

ひとこと要約

本稿では、表現学習にBarlow Twinsを用い、クラス内分散の低減およびクラス間類似度の低減を目的として三重損失を、クラス不均衡の是正を目的として焦点損失を組み合わせた自己教師あり学習フレームワークSsLTFを提案する。シンプルなResNet-50バックボーンを用いて、Hyper-Kvasirデータセット上でF1スコア0.824を達成し、より複雑なモデルを上回る最先端の性能を発揮した。

ABSTRACT

Recently, the amount of GI tract datasets is introduced more and more by gathering from contests and challenges. The most common task needs to solve that is to classify images from the GI tract into various classes. However, the contributions of the existing approaches exhibit lots of limitations. In this paper, we aim to develop a computer-aided diagnosis system to classify the pathological findings in endoscopy images, the system can classify some common pathologies including polyps, esophagitis, and ulcerative -- colitis. To evaluate the proposed work, we use the public dataset which is Hyper--Kvasir instead of gathering the data. The key idea of our system is to develop self-supervised learning based on the Barlow Twins framework with a downstream task which is an endoscopy image classification integrated with triplet loss and focal loss functions. The self-supervision framework and focal loss function are used to overcome class-imbalanced data, while the triplet loss function is to tackle the domain-specific properties in endoscopy images which are inter/intra-class problems. An extensive experimental study on the pathological finding images in the Hyper--Kvasir dataset has shown that our proposed system is in general better than the compared methods, whereas using a simple neural network model. This means the proposed system can be used efficiently and capable of accurately for the classification of pathology images in the GI tract.

研究の動機と目的

• 胃腸内視鏡画像におけるポリープ、食道炎、潰瘍性コリットスなどの複数の胃腸疾患を分類するためのコンピュータ支援診断システムの開発。
• モデルの汎化性能を阻害する内視鏡画像におけるクラス不均衡およびクラス内・クラス間の変動性の課題に対処すること。
• 大規模なプライベートデータセットに依存せずに、自己教師あり事前学習と損失関数の統合を用いて分類性能を向上させること。
• 洗練された損失関数を組み合わせた軽量モデルが、医療画像分類タスクにおいてより複雑なアーキテクチャを上回ることを示すこと。

提案手法

• システムは、ラベルなし内視鏡画像から強固な特徴表現を学習するために、自己教師あり事前学習にBarlow Twinsフレームワークを用いる。
• 下流分類ヘッドは、三重損失と焦点損失の組み合わせを用いて微調整され、識別力の向上とクラス不均衡の処理が行われる。
• 三重損失は、クラス内分散の低減とクラス間マージンの最大化を目的とし、視覚的に類似した疾患の特徴分離を向上させる。
• 焦点損失は、学習中に容易なネガティブ例と多数クラスの影響を軽減し、困難な例に注目するように学習を集中させる。
• モデルは、6つのクラス（ポリープ、食道炎-Grade-A、食道炎-Grade-B-D、潰瘍性コリットス-Grade-1、潰瘍性コリットス-Grade-2、潰瘍性コリットス-Grade-3）を含むHyper-Kvasirデータセットで訓練された。
• 最終的な分類パイプラインは、組み合わせ損失目的関数を用いてエンドツーエンドに訓練されたResNet-50バックボーンを採用している。

実験結果

リサーチクエスチョン

• RQ1 Barlow Twinsを用いた自己教師あり事前学習は、胃腸内視鏡画像分類のための特徴表現を向上させることができるか？
• RQ2 視覚的に類似した画像を有する内視鏡画像において、三重損失はクラス内分散の低減およびクラス間分離の向上にどの程度効果的か？
• RQ3 医療画像データセットにおけるクラス不均衡に起因する性能低下を、焦点損失はどの程度緩和できるか？
• RQ4 洗練された損失関数と自己教師あり事前学習を組み合わせた軽量モデル（例：ResNet-50）は、DenseNet-161 や EfficientNet といったより大きなアーキテクチャを上回ることができるか？

主な発見

• 提案されたSsLTF手法は、Hyper-KvasirデータセットでF1スコア0.824を達成し、DenseNet-161 や EfficientNet を用いた対照的手法をすべて上回った。
• SsLTFのマクロ平均F1スコア（0.824）は、Borgliら[3]（0.6747）、Heら[11]（0.6701）、Gjestang[7]（0.5800）を上回ったが、それらはより単純なResNet-50アーキテクチャを用いた。
• 三重損失の統合により、視覚的に類似した疾患（例：潰瘍性コリットスの異なるグレード、食道炎）の特徴識別が顕著に向上した。
• 焦点損失は、多数クラス（ポリープ）が全損失に与える影響を効果的に低減し、特に少数クラス（潰瘍性コリットス-Grade-3）の再現率向上に寄与した。
• Barlow Twinsを用いた自己教師あり事前学習段階により、特徴の質が向上し、ラベル付きデータが限られた状況でもより良い下流性能が達成された。
• モデルの単純さにもかかわらず、SsLTFは競争力のある結果を達成した。これは、損失関数設計と事前学習が、この文脈ではモデルの深さよりもはるかに大きな影響を持つことを示している。