[論文レビュー] CerviFormer: A Pap-smear based cervical cancer classification method using cross attention and latent transformer

Bhaswati Singha Deo, Mayukha Pal+2 more|arXiv (Cornell University)|Mar 17, 2023

Cervical Cancer and HPV Research被引用数 6

ひとこと要約

CerviFormerは、高次元入力をコンactな潜在空間に圧縮することで計算複雑性を低減する、クロスアテンションおよび潜在トランスフォーマーに基づく方法を提案する。Sipakmed（3クラス）では93.70%、Herlev（2クラス）では94.57%の精度を達成し、最新の手法を上回り、セグメンテーションを必要としないエンドツーエンドのスライドレベル分類を可能にする。

ABSTRACT

Purpose: Cervical cancer is one of the primary causes of death in women. It should be diagnosed early and treated according to the best medical advice, as with other diseases, to ensure that its effects are as minimal as possible. Pap smear images are one of the most constructive ways for identifying this type of cancer. This study proposes a cross-attention-based Transfomer approach for the reliable classification of cervical cancer in Pap smear images. Methods: In this study, we propose the CerviFormer -- a model that depends on the Transformers and thereby requires minimal architectural assumptions about the size of the input data. The model uses a cross-attention technique to repeatedly consolidate the input data into a compact latent Transformer module, which enables it to manage very large-scale inputs. We evaluated our model on two publicly available Pap smear datasets. Results: For 3-state classification on the Sipakmed data, the model achieved an accuracy of 93.70%. For 2-state classification on the Herlev data, the model achieved an accuracy of 94.57%. Conclusion: Experimental results on two publicly accessible datasets demonstrate that the proposed method achieves competitive results when compared to contemporary approaches. The proposed method brings forth a comprehensive classification model to detect cervical cancer in Pap smear images. This may aid medical professionals in providing better cervical cancer treatment, consequently, enhancing the overall effectiveness of the entire testing process.

研究の動機と目的

• 診断のばらつきを低減し、早期発見を向上させるために、子宮頸がんのペーパー・スメール画像に対する自動的で正確かつ頑健な分類システムの開発。
• 標準トランスフォーマーの高い計算コストに対処するため、クロスアテンションを介した潜在ボトルネックを導入し、大規模な入力の効率的処理を可能にする。
• アテンションメカニズムを用いて、全スライド画像のエンドツーエンド分類を可能にするために、手動によるセグメンテーションに依存しない。
• 強いアーキテクチャ的仮定を必要とせず、多様なペーパー・スメール画像の設定にわたるモデルの解釈可能性と一般化性能を向上させる。
• 病理医の意思決定支援ツールを提供し、診断の一貫性を高め、観察者バイアスを低減する。

提案手法

• モデルはペーパー・スメール画像をパッチに分割し、高次元入力パッチをサイズN ≪ Mの小さな潜在表現にマッピングするためのクロスアテンション機構を適用する。
• 圧縮された表現を段階的に精緻化するために、潜在トランスフォーマー・モジュールを用い、二次的複雑性をO(M²)からO(N²)に低減するが、重要な特徴を保持する。
• 明示的なグリッド構造や順序構造がない状況でも、空間的および構造的情報を保持するために、位置エンコーディングおよびモダリティ固有のエンコーディングを導入する。
• 入力パッチと潜在トークン間の反復的クロスアテンションを採用し、画像全体にわたり、限られたアテンション容量を最も顕著な特徴に集中させる。
• 前処理段階でデータ拡張技術を適用し、多様な画像品質および染色変動にわたる頑健性と一般化性能を向上させる。
• 最終的な分類ヘッドは、精緻化された潜在表現に基づき、正常、良性、異常クラスの確率を出力する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、計算複雑性を最小限に抑えると同時に、ペーパー・スメール画像からの子宮頸がん分類において高い正確性を達成できるか？
• RQ2 クロスアテンションを介した潜在ボトルネックの使用は、大規模なヒストパスロジカル画像における性能とスケーラビリティをどのように向上させるか？
• RQ3 事前にセグメンテーションや領域の抽出を必要とせずに、全スライド画像を分類できるか、その程度はどの程度か？
• RQ4 複数のデータセットにおいて、既存の最先端モデルと比較して、正確性、適合率、再現率の観点から、本手法はどのように性能を発揮するか？
• RQ5 染色、解像度、細胞形態の異なるさまざまなペーパー・スメールデータセットに、本手法は一般化できるか？

主な発見

• CerviFormerは、3クラス分類（正常、良性、異常）のSipakmedデータセットで93.70%の分類精度を達成した。
• Herlevデータセットでは、2クラス分類（正常対異常）で94.57%の精度に達し、以前の最先端手法を上回った。
• 特異度はSipakmedで96.81%、Herlevで97.06%を示し、正常例を正しく同定する能力が優れていることを示した。
• 感度はSipakmedで92.99%、Herlevで87.50%であり、クラスの不均衡がある中でも異常例の検出能力が強く、顕著であった。
• Sipakmedでは全クラスのF1スコアが0.89以上、Herlevでも0.89以上であり、カテゴリ間で精度と再現率のバランスが取れていることを示した。
• 両データセットの混同行列は、予測の大部分が正しく分類されていることを示しており、誤分類は最小限に抑えられ、モデルの頑健性が確認された。