[논문 리뷰] LesionAid: Vision Transformers-based Skin Lesion Generation and Classification

Ghanta Sai Krishna, Kundrapu Supriya외 2명|arXiv (Cornell University)|2023. 02. 02.

Cutaneous Melanoma Detection and Management인용 수 8

한 줄 요약

Vision Transformers와 ViTGANs를 사용한 다단계 프레임워크로 클래스 균형화를 위한 합성 피부 병변 이미지를 생성하고, 데이터를 증강하며, 엣지 컴퓨팅을 위한 설명 가능 AI와 함께 실시간 분류를 수행합니다.

ABSTRACT

Skin cancer is one of the most prevalent forms of human cancer. It is recognized mainly visually, beginning with clinical screening and continuing with the dermoscopic examination, histological assessment, and specimen collection. Deep convolutional neural networks (CNNs) perform highly segregated and potentially universal tasks against a classified finegrained object. This research proposes a novel multi-class prediction framework that classifies skin lesions based on ViT and ViTGAN. Vision transformers-based GANs (Generative Adversarial Networks) are utilized to tackle the class imbalance. The framework consists of four main phases: ViTGANs, Image processing, and explainable AI. Phase 1 consists of generating synthetic images to balance all the classes in the dataset. Phase 2 consists of applying different data augmentation techniques and morphological operations to increase the size of the data. Phases 3 & 4 involve developing a ViT model for edge computing systems that can identify patterns and categorize skin lesions from the user's skin visible in the image. In phase 3, after classifying the lesions into the desired class with ViT, we will use explainable AI (XAI) that leads to more explainable results (using activation maps, etc.) while ensuring high predictive accuracy. Real-time images of skin diseases can capture by a doctor or a patient using the camera of a mobile application to perform an early examination and determine the cause of the skin lesion. The whole framework is compared with the existing frameworks for skin lesion detection.

연구 동기 및 목표

• 비vision transformers와 GANs를 사용하여 피부 병변 데이터셋의 클래스 불균형을 해결합니다.
• 데이터를 균형화하고 이미지를 증강하며 엣지 디바이스에서 실시간 병변 분류를 가능하게 하는 다단계 파이프라인을 개발합니다.
• 정확한 예측과 함께 해석 가능한 결과를 제공하기 위해 Explainable AI (XAI)를 도입합니다.
• 합성 데이터 생성에서 모바일 친화적 플랫폼에의 배포에 이르는 엔드투엔드 워크플로우를 가능하게 합니다.

제안 방법

• Phase 1: 모든 클래스를 균형화하기 위해 ViTGANs로 합성 이미지를 생성합니다.
• Phase 2: 데이터 증강 기법 및 형태학적 연산을 적용하여 데이터셋을 확장합니다.
• Phase 3: 사용자 제공 이미지에서 병변을 분류하기 위해 ViT 기반 모델을 엣지 컴퓨팅용으로 개발합니다.
• Phase 4: Activation maps와 같은 Explainable AI (XAI) 방법을 통합하여 정확성을 해치지 않으면서 해석 가능성을 높입니다.

실험 결과

연구 질문

• RQ1 ViTGAN-생성 이미지가 불균형한 피부 병변 데이터세트를 효과적으로 균형화할 수 있습니까?
• RQ2 ViT 기반 분류기가 피부 병변 예측에 대해 엣지 디바이스에서 높은 정확도를 달성합니까?
• RQ3 XAI 방법이 ViT 기반 피부 병변 분류에 의미 있는 설명을 제공할 수 있습니까?
• RQ4 통합 파이프라인이 피부 병변 탐지 및 분류의 기존 프레임워크와 어떻게 비교됩니까?

주요 결과

• 이 프레임워크는 피부 병변 데이터셋의 클래스 불균형을 해결하기 위해 ViT와 ViTGAN을 결합합니다.
• 데이터 증강 및 형태학적 처리는 원래 샘플을 넘는 학습 데이터를 확장합니다.
• 엣지 최적화된 ViT 분류기가 사용자 제공 이미지에서 실시간 피부 병변 식별을 위해 제안됩니다.
• 설명 가능한 AI 구성요소는 예측 결과와 함께 활성화 맵을 통해 해석 가능한 인사이트를 제공합니다.
• 전체 프레임워크는 기존 피부 병변 탐지 프레임워크와 비교 벤치마크됩니다.