[논문 리뷰] CerviFormer: A Pap-smear based cervical cancer classification method using cross attention and latent transformer

Bhaswati Singha Deo, Mayukha Pal외 2명|arXiv (Cornell University)|2023. 03. 17.

Cervical Cancer and HPV Research인용 수 6

한 줄 요약

CerviFormer는 고차원 입력을 압축하여 단순한 잠재 공간으로 만드는 교차 어텐션과 잠재 트랜스포머 기반의 방법을 제안하여 자궁경부암 분류의 계산 복잡도를 감소시킨다. Sipakmed(3개 클래스)에서 93.70%의 정확도와 Herlev(2개 클래스)에서 94.57%의 정확도를 기록하여 최신 기술을 능가하며, 분할 처리 없이 엔드 투 엔드 슬라이드 수준의 분류를 가능하게 한다.

ABSTRACT

Purpose: Cervical cancer is one of the primary causes of death in women. It should be diagnosed early and treated according to the best medical advice, as with other diseases, to ensure that its effects are as minimal as possible. Pap smear images are one of the most constructive ways for identifying this type of cancer. This study proposes a cross-attention-based Transfomer approach for the reliable classification of cervical cancer in Pap smear images. Methods: In this study, we propose the CerviFormer -- a model that depends on the Transformers and thereby requires minimal architectural assumptions about the size of the input data. The model uses a cross-attention technique to repeatedly consolidate the input data into a compact latent Transformer module, which enables it to manage very large-scale inputs. We evaluated our model on two publicly available Pap smear datasets. Results: For 3-state classification on the Sipakmed data, the model achieved an accuracy of 93.70%. For 2-state classification on the Herlev data, the model achieved an accuracy of 94.57%. Conclusion: Experimental results on two publicly accessible datasets demonstrate that the proposed method achieves competitive results when compared to contemporary approaches. The proposed method brings forth a comprehensive classification model to detect cervical cancer in Pap smear images. This may aid medical professionals in providing better cervical cancer treatment, consequently, enhancing the overall effectiveness of the entire testing process.

연구 동기 및 목표

• 자궁경부암의 자동화, 정확성 및 견고성을 확보하기 위한 Pap 슬라이드 이미지 분류 시스템을 개발하여 진단의 변동성을 줄이고 조기 진단을 향상시키는 것.
• 표준 트랜스포머의 높은 계산 비용 문제를 해결하기 위해 교차 어텐션을 통한 잠재 블로킹을 도입하여 대규모 입력을 효율적으로 처리할 수 있도록 하는 것.
• 수동 분할에 의존하지 않도록 주어진 슬라이드 전체에 대한 엔드 투 엔드 분류를 어텐션 메커니즘을 통해 가능하게 하는 것.
• 강한 아키텍처 가정 없이 다양한 Pap 슬라이드 이미지 구성에 걸쳐 모델의 해석 가능성과 일반화 능력을 향상시키는 것.
• 병리의사의 진단 일致성과 관찰 편향을 줄이는 데 기여하는 의사결정 지원 도구를 제공하는 것.

제안 방법

• 모델은 슬라이드 이미지를 패치로 나누고, 고차원 입력 패치를 더 작은 크기의 잠재 표현(N ≪ M)으로 매핑하기 위해 교차 어텐션 메커니즘을 적용한다.
• 압축된 표현을 반복적으로 개선하기 위해 잠재 트랜스포머 모듈을 사용하여 이차 복잡도를 O(M²)에서 O(N²)로 감소시키면서도 핵심 특징을 유지한다.
• 명시적인 격자 또는 순차적 구조가 없을 경우에도 공간적 및 구조적 정보를 유지하기 위해 위치 및 모odal 특화 임bedding을 도입한다.
• 입력 패치와 잠재 토큰 간의 반복적 교차 어텐션을 통해 주어진 어텐션 용량을 이미지 전반에서 가장 중요한 특징에 집중시킨다.
• 다양한 이미지 품질과 염색 변동성에 대응하기 위해 사전 처리 단계에서 데이터 증강 기법을 적용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 최종 분류 헤드는 개선된 잠재 표현 기반으로 정상, 양성, 비정상 클래스에 대한 확률을 출력한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 계산 복잡도를 최소화하면서도 Pap 슬라이드 이미지에서 자궁경부암을 높은 정확도로 분류할 수 있는가?
• RQ2 교차 어텐션을 통한 잠재 블로킹을 도입함으로써 대규모 조직병리학적 이미지에서 성능 향상과 확장성은 어떻게 향상되는가?
• RQ3 사전 분할 또는 관심 영역 추출 없이 모델이 전체 슬라이드 이미지를 얼마나 잘 분류할 수 있는가?
• RQ4 여러 데이터셋에서 정확도, 정밀도 및 재현율 측면에서 기존 최신 기술 모델과 비교해 볼 때 제안된 방법은 어떤가?
• RQ5 다양한 염색, 해상도 및 세포 형태학적 특성을 지닌 다양한 Pap 슬라이드 데이터셋 간에 모델의 일반화 능력은 어느 정도인가?

주요 결과

• CerviFormer는 3개 클래스 분류(정상, 양성, 비정상)에 대해 Sipakmed 데이터셋에서 93.70%의 분류 정확도를 달성했다.
• Herlev 데이터셋에서는 2개 클래스 분류(정상 대 비정상)에서 94.57%의 정확도를 기록하여 이전 최신 기술을 능가했다.
• 모델은 높은 특이도(96.81% Sipakmed, 97.06% Herlev)를 보이며 정상 케이스를 정확히 식별할 수 있는 능력을 지녔다.
• 민감도는 Sipakmed에서 92.99%, Herlev에서 87.50%였으며, 클래스 불균형에도 불구하고 비정상 케이스를 강력하게 탐지할 수 있는 능력을 보였다.
• Sipakmed에서는 모든 클래스의 F1 점수가 0.89 이상, Herlev에서도 F1 점수가 0.89 이상이었으며, 카테고리 간 정밀도와 재현율이 균형 잡혀 있음을 나타냈다.
• 두 데이터셋의 혼동 행렬은 예측의 대부분이 정확한 클래스에 속해 있음을 보여주며, 모델의 강건성을 확인했다.