[論文レビュー] InceptionCapsule: Inception-Resnet and CapsuleNet with self-attention for medical image Classification

Elham Sadeghnezhad, Sajjad Salem|arXiv (Cornell University)|Feb 3, 2024

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本論文では、Inception-ResNetとキャプセルネットワーク、自己注意機構を組み合わせたハイブリッド深層学習モデルであるInceptionCapsuleを提案する。ImageNetで事前学習された重みを活用し、中間特徴量を用いて豊富なベクトル表現を生成することで、分類精度を向上させた。BUSI with GTでは98.88%、5クラス分類のKvasirでは97.62%の精度を達成した。

ABSTRACT

Initial weighting is significant in deep neural networks because the random selection of weights produces different outputs and increases the probability of overfitting and underfitting. On the other hand, vector-based approaches to extract vector features need rich vectors for more accurate classification. The InceptionCapsule approach is presented to alleviate these two problems. This approach uses transfer learning and the Inception-ResNet model to avoid random selection of weights, which takes initial weights from ImageNet. It also uses the output of Inception middle layers to generate rich vectors. Extracted vectors are given to a capsule network for learning, which is equipped with an attention technique. Kvasir data and BUSI with the GT dataset were used to evaluate this approach. This model was able to achieve 97.62 accuracies in 5-class classification and also achieved 94.30 accuracies in 8-class classification on Kvasir. In the BUSI with GT dataset, the proposed approach achieved accuracy=98.88, Precision=95.34, and F1-score=93.74, which are acceptable results compared to other approaches in the literature.

研究の動機と目的

• 医用画像分類のための深層ニューラルネットワークにおいて、重みのランダム初期化が引き起こす不安定性と過学習を解消すること。
• 中間層のInception-ResNetから得られる特徴量を活用し、階層的で豊富なベクトル表現を生成することで、特徴表現を向上させること。
• 動的特徴重み付けを可能にする自己注意機構を備えたキャプセルネットワークを導入し、分類性能を向上させること。
• KvasirやBUSI with GTを含む多様な医用画像ベンチマークでモデルを評価し、頑健性と一般化性能を示すこと。
• 注目機構、残差学習、キャプセルベース特徴学習の新規統合により、マルチクラス医用画像分類で最先端の性能を達成すること。

提案手法

• ImageNetで事前学習された重みを用いてInception-ResNetバックボーンを初期化することで、転移学習を活用し、ランダム初期化を回避する。
• Inception-ResNetアーキテクチャの中間層から深層特徴量を抽出し、豊富で判別力のあるベクトル表現を生成する。
• 抽出された特徴ベクトルをキャプセルネットワークに供給し、階層的な空間的関係をモデル化することで一般化性能を向上させる。
• キャプセルネットワーク内に自己注意機構を統合し、重要な特徴を動的に強調し、ノイズを抑制する。
• 空間的一致性に基づいて特徴を意味のあるキャプセルにグループ化するルーティング・バイ・アーリメント機構をキャプセル層に採用する。
• ラベルスムージングを用いた交差エントロピー損失関数を用いて、エンド・ツー・エンドのモデルを訓練することで、頑健性を向上させ、過学習を軽減する。

実験結果

リサーチクエスチョン

• RQ1 Inception-ResNetとキャプセルネットワーク、自己注意機構を統合することで、医用画像分類における特徴表現が向上するか？
• RQ2 Inception-ResNetの中間特徴量を用いることで、医用画像処理タスクにおいて標準的な特徴抽出法よりも優れた性能が得られるか？
• RQ3 キャプセルネットワークに自己注意機構を統合することで、医用画像データセットにおける分類精度と頑健性にどのような影響を与えるか？
• RQ4 提案されたInceptionCapsuleモデルは、KvasirおよびBUSI with GTデータセットにおいて、既存の最先端手法を上回る性能を示せるか？
• RQ5 ImageNetからの転移学習は、医用画像分類において過学習を軽減し、収束を促進する程度はどの程度か？

主な発見

• InceptionCapsuleモデルは、5クラス分類のKvasirデータセットで97.62%の精度を達成し、マルチクラス医用画像分類において優れた性能を示した。
• 8クラス分類タスクのKvasirでは94.30%の精度に達し、複雑なマルチラベルシナリオへのスケーラビリティを示した。
• BUSI with GTデータセットでは、98.88%の精度、95.34%の適合率、93.74%のF1スコアを達成し、多くの既存手法を上回った。
• キャプセルネットワーク内に自己注意機構を統合することで、特に複雑またはノイズの多い医用画像において、特徴の判別能が顕著に向上した。
• 事前学習済みのInception-ResNet重みの使用により、学習の不安定性が軽減され、収束が加速し、一般化性能の向上に寄与した。
• 本モデルは多様な医用画像処理タスクにおいて頑健な性能を示し、注目機構、残差学習、キャプセルベース特徴学習の統合の有効性を確認した。