[논문 리뷰] Prototypical Clustering Networks for Dermatological Disease Diagnosis

Viraj Prabhu, Anitha Kannan외 4명|arXiv (Cornell University)|2018. 11. 07.

Cutaneous Melanoma Detection and Management참고 문헌 22인용 수 7

한 줄 요약

이 논문은 소수의 샘플로도 잘 일반화할 수 있도록 각 피부과적 클래스를 다수의 프로토타입 혼합으로 모델링하는 프로토타입 클러스터링 네트워크(Prototypical Clustering Networks, PCN)를 제안한다. 이는 내부 클래스 변동성과 장꼬리 분포 데이터를 다루는 데 유리하다. 온라인 클러스터링과 프로토타입에 대한 가중 유사도를 사용함으로써, PCN는 희귀하고 다양한 피부 질환에서 뛰어난 성능을 달성하며, 특히 장꼬리 일반화에서 기존 기준 모델들을 능가한다.

ABSTRACT

We consider the problem of image classification for the purpose of aiding doctors in dermatological diagnosis. Dermatological diagnosis poses two major challenges for standard off-the-shelf techniques: First, the data distribution is typically extremely long tailed. Second, intra-class variability is often large. To address the first issue, we formulate the problem as low-shot learning, where once deployed, a base classifier must rapidly generalize to diagnose novel conditions given very few labeled examples. To model diverse classes effectively, we propose Prototypical Clustering Networks (PCN), an extension to Prototypical Networks that learns a mixture of prototypes for each class. Prototypes are initialized for each class via clustering and refined via an online update scheme. Classification is performed by measuring similarity to a weighted combination of prototypes within a class, where the weights are the inferred cluster responsibilities. We demonstrate the strengths of our approach in effective diagnosis on a realistic dataset of dermatological conditions.

연구 동기 및 목표

• 임상 진단에서 장꼬리 분포와 높은 변동성을 보이는 피부과 영상 데이터의 과제를 해결한다.
• 배포 후 소수의 레이블이 있는 예시만으로도 새로운 피부 질환에 신속하게 일반화할 수 있도록 한다.
• 표준 모델이 실패하는 희귀하고 다양한 피부 질환에서의 분류 성능을 향상시킨다.
• 원본 데이터에 대한 재학습 없이도 기존 데이터에 접근하지 않고도 확장 가능한, 프라이버시를 보호하는 스케일러블한 방법을 개발한다.

제안 방법

• 각 클래스를 단일 프로토타입이 아닌 다수의 프로토타입 혼합으로 표현함으로써 프로토타입 네트워크를 확장한다.
• 학습 중에 지원 세트 임베딩에 대한 클러스터링을 통해 각 클래스의 프로토타입을 초기화한다.
• 들어오는 지원 예제 기반으로 프로토타입을 갱신하는 온라인 업데이트 방식을 사용해 프로토타입을 정교화한다.
• 클래스 프로토타입의 가중 조합과의 유사도를 계산하여 분류를 수행하며, 가중치는 클러스터 책임을 추론한다.
• 각 쿼리 이미지에 대해 클러스터 책임 q(z|c,x)를 추론하기 위해 미분 가능한 소프트-할당 메커니즘을 사용한다.
• 임베딩 공간과 프로토타입 혼합 파라미터를 동시에 학습하기 위해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 소수의 샘플 학습 접근법이 피부과 질환의 장꼬리 분포를 효과적으로 다룰 수 있는가?
• RQ2 각 클래스를 프로토타입의 혼합으로 모델링하면 다양하고 희귀한 피부 질환에서 성능이 향상되는가?
• RQ3 소수의 레이블 예시만으로도 새로운 클래스에 일반화하면서 프라이버시를 보존할 수 있는가?
• RQ4 모델은 다양한 표현 방식을 가진 이미지에 대해 다수의 프로토타입을 어떻게 보간하여 정확한 예측을 내는가?

주요 결과

• PCN는 특히 희귀하고 다양한 조건이 가장 도전적인 장꼬리 분포에서 강력한 기준 모델들을 능가한다.
• 모델은 클래스 내 변동성을 효과적으로 포착하기 위해 각 클래스당 다수의 프로토타입을 학습함으로써, 다양한 신체 부위의 여드름과 같은 다양한 표현에서도 정확한 예측을 가능하게 한다.
• 정성적 분석 결과, 모델은 관련 프로토타입 사이를 정확히 보간하며, 피부 질감이나 자세와 같은 이미지 고유의 특징에 따라 클러스터 책임이 적절히 조정됨을 보여준다.
• 잘못된 예측조차도 의미 있는 프로토타입 간 보간을 포함하고 있어, 불확실성 처리에서의 강건성을 시사한다.
• 이 방법은 프라이버시를 보호하는 모델 확장을 가능하게 하며, 기존 훈련 데이터나 인프라에 접근하지 않고도 단 한 번의 순방향 전파로 새로운 클래스를 추가할 수 있다.