[논문 리뷰] A Voting-Stacking Ensemble of Inception Networks for Cervical Cytology Classification

Linyi Qian, Qian Huang외 2명|arXiv (Cornell University)|2023. 08. 05.

Cervical Cancer and HPV ResearchMedicine인용 수 3

한 줄 요약

이 논문은 자궁경부 세포학 분류를 위한 세 개의 Inception 네트워크를 활용한 Voting-Stacking 앙상블을 제안하며, 투표 앙상블에서 잘못 분류된 샘플을 활용해 메타-러닝 모델을 훈련함으로써 SIPakMed, Herlev, Mendeley 데이터셋에서 100%의 정확도를 달성한다. 이는 향상된 특징 융합과 강건성 덕분에 기존 최고 성능(SOTA) 방법을 초월한다.

ABSTRACT

Cervical cancer is one of the most severe diseases threatening women's health. Early detection and diagnosis can significantly reduce cancer risk, in which cervical cytology classification is indispensable. Researchers have recently designed many networks for automated cervical cancer diagnosis, but the limited accuracy and bulky size of these individual models cannot meet practical application needs. To address this issue, we propose a Voting-Stacking ensemble strategy, which employs three Inception networks as base learners and integrates their outputs through a voting ensemble. The samples misclassified by the ensemble model generate a new training set on which a linear classification model is trained as the meta-learner and performs the final predictions. In addition, a multi-level Stacking ensemble framework is designed to improve performance further. The method is evaluated on the SIPakMed, Herlev, and Mendeley datasets, achieving accuracies of 100%, 100%, and 100%, respectively. The experimental results outperform the current state-of-the-art (SOTA) methods, demonstrating its potential for reducing screening workload and helping pathologists detect cervical cancer.

연구 동기 및 목표

• 단일 딥 러닝 모델의 한계를 해결하기 위해 자궁경부 세포학 분류에서 낮은 정확도와 큰 모델 크기 문제를 해결한다.
• 자궁세포 영상의 고정확도 자동 분류를 통해 병리의학자들의 스크리닝 작업 부담을 줄인다.
• 동일한 모델에서의 낮은 일반화 능력과 특징 중복 문제를 해결하기 위해 새로운 앙상블 전략을 도입한다.
• 잘못 분류된 샘플에만 집중적으로 재훈련하는 이중 단계 앙상블 프레임워크를 통해 분류 성능을 향상시킨다.
• 다양하고 공개된 자궁경부 세포학 데이터셋에서 본 방법의 강건성과 확장 가능성을 입증한다.

제안 방법

• 일관된 크기 조정과 함께 온라인 및 오프라인 데이터 증강을 병행하여 일반화 능력을 향상시킨다.
• 세 개의 사전 훈련된 Inception 패밀리 모델(InceptionV3, InceptionResNetV2, Xception)을 특징 추출을 위한 동일한 기반 학습자로 활용한다.
• 기반 학습자들의 예측을 융합하기 위해 투표 전략을 적용하며, 충돌하는 출력을 보이는 샘플을 메타-학습의 후보로 식별한다.
• 잘못 분류된 샘플에만 전용으로 훈련된 선형 메타-러닝 모델을 통해 예측을 정밀화하고, 올바르게 분류된 인스턴스의 간섭을 줄인다.
• Voting-Stacking 앙상블의 출력을 기반으로 메타-러닝 모델을 재훈련함으로써 다수준 Stacking 앙상블 프레임워크를 구현하여 성능을 추가로 향상시킨다.
• 기본 모델을 ImageNet에서 초기화하고 자궁경부 세포학 데이터셋에서 미세조정함으로써 전이 학습을 활용해 특징 표현 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 투표-스택킹 앙상블 전략이 단일 모델 접근 방식을 뛰어넘어 자궁경부 세포학 분류의 정확도를 향상시킬 수 있는가?
• RQ2 모든 샘플이 아닌 잘못 분류된 샘플에만 메타-러닝 모델을 재훈련하는 방식이 표준 스택킹보다 성능 향상에 기여하는가?
• RQ3 제안된 Voting-Stacking 프레임워크는 기준 자궁경부 세포학 데이터셋에서 기존 SOTA 방법과 비교해 어떻게 성능을 냅니다?
• RQ4 다수준 Stacking 프레임워크는 자궁세포 분류에서 정확도와 강건성을 얼마나 더 향상시킬 수 있는가?
• RQ5 제안된 앙상블 방법은 자궁경부 세포학을 초월해 다른 의료 영상 분류 과제로도 일반화 가능한가?

주요 결과

• 제안된 Voting-Stacking 앙상블은 SIPakMed 데이터셋에서 100%의 정확도, 정밀도, 재현율, F1 점수를 달성하여 이전의 모든 SOTA 방법을 능가했다.
• Herlev 데이터셋에서 본 방법은 모든 평가 지표에서 100%의 정확도를 기록하여 뛰어난 강건성과 일반화 능력을 입증했다.
• Mendeley 데이터셋 평가 결과, 모든 지표에서 100% 성능을 확보했으며, 이는 FuzzyDistanceEnsemble(99.68% 정확도) 및 ExemplarPyramid(99.47% 정확도)와 같은 이전 SOTA 방법을 크게 뛰어넘었다.
• 5겹 교차 검증 결과, 다양한 훈련 세트 크기(10%, 20%, 30%)에서도 일관된 성능을 보였으며, 모든 경우에서 100%의 정확도를 유지했다.
• 다수준 Stacking 앙상블은 Voting-Stacking 앙상블의 출력을 기반으로 메타-러닝 모델을 재훈련함으로써 정확도를 추가로 향상시켰으며, 계층적 앙상블 설계의 효과를 확인했다.
• 특히 기저세포성 및 비정상 세포와 같은 도전적인 세포 유형에서도 뛰어난 성능을 보여, 다양한 세포학적 특징을 효과적으로 구분하는 강력한 분류 능력을 입증했다.