[논문 리뷰] Lesion2Vec: Deep Metric Learning for Few-Shot Multiple Lesions Recognition in Wireless Capsule Endoscopy Video

Sodiq Adewole, Philip Fernandez외 6명|arXiv (Cornell University)|2021. 01. 11.

Gastrointestinal Bleeding Diagnosis and Treatment참고 문헌 34인용 수 7

한 줄 요약

이 논문은 깊이 측도 학습을 사용하여 최소한의 레이블 예시로 여러 소장 부위 병변을 식별할 수 있는 few-shot 병변 인식 프레임워크인 Lesion2Vec을 제안한다. 시ames 네트워크와 트리플릿 손실을 활용함으로써, AlexNet 기반으로 7개의 서포트 샘플을 사용할 때 91.0%의 F-스코어를 달성하여 훈련 데이터가 제한된 상황에서도 새로운 병변 유형에 대해 강력한 일반화 성능을 보였다.

ABSTRACT

Effective and rapid detection of lesions in the Gastrointestinal tract is critical to gastroenterologist's response to some life-threatening diseases. Wireless Capsule Endoscopy (WCE) has revolutionized traditional endoscopy procedure by allowing gastroenterologists visualize the entire GI tract non-invasively. Once the tiny capsule is swallowed, it sequentially capture images of the GI tract at about 2 to 6 frames per second (fps). A single video can last up to 8 hours producing between 30,000 to 100,000 images. Automating the detection of frames containing specific lesion in WCE video would relieve gastroenterologists the arduous task of reviewing the entire video before making diagnosis. While the WCE produces large volume of images, only about 5\% of the frames contain lesions that aid the diagnosis process. Convolutional Neural Network (CNN) based models have been very successful in various image classification tasks. However, they suffer excessive parameters, are sample inefficient and rely on very large amount of training data. Deploying a CNN classifier for lesion detection task will require time-to-time fine-tuning to generalize to any unforeseen category. In this paper, we propose a metric-based learning framework followed by a few-shot lesion recognition in WCE data. Metric-based learning is a meta-learning framework designed to establish similarity or dissimilarity between concepts while few-shot learning (FSL) aims to identify new concepts from only a small number of examples. We train a feature extractor to learn a representation for different small bowel lesions using metric-based learning. At the testing stage, the category of an unseen sample is predicted from only a few support examples, thereby allowing the model to generalize to a new category that has never been seen before. We demonstrated the efficacy of this method on real patient capsule endoscopy data.

연구 동기 및 목표

• 무선 캡슐 내 endoscopy(WCE)에서 레이블이 부족한 문제를 해결하기 위해 few-shot 병변 인식을 가능하게 하기 위해.
• 의료 영상에서 대규모 애너테이션 데이터셋을 제작하는 데 비용과 시간이 많이 들기 때문에, 이러한 대규모 데이터셋에 대한 의존도를 줄이기 위해.
• 재학습이나 광범위한 미세조정 없이도 새로운, 알려지지 않은 병변 유형으로의 일반화를 가능하게 하기 위해.
• 희귀하거나 낮은 빈도의 병변을 WCE 영상에서 자동으로 탐지함으로써 진단 효율을 향상시키기 위해.
• 새로운 병변 유형에 대한 데이터 수집 부담을 최소화하여 임상 현장에서의 구현을 지원하는 프레임워크를 개발하기 위해.

제안 방법

• 병변 영상의 깊이 측도 임베딩을 학습하기 위해 트리플릿 손실을 사용하는 시ames 신경망 아키텍처를 사용하여 클래스 간 분리도를 극대화하고 클래스 내 변동성을 최소화한다.
• 모델은 각 에피소드가 병변 유형당 몇 개의 예시만 포함하는 few-shot 학습 프레임워크에 기반하여 훈련된다.
• 추론 과정에서는 쿼리 이미지와 서포트 세트 임베딩 간의 유사도 점수를 코사인 또는 유클리드 거리로 계산한다.
• 최적의 특징 추출 성능를 도출하기 위해 AlexNet, VGG-19, ResNet 등의 다양한 기본 CNN 아키텍처를 평가한다.
• 훈련 중에 볼 수 없었던 새로운 병변 카테고리로의 일반화를 가능하게 하기 위해 측도 기반 학습 전략을 사용한다.
• 실제 환자 WCE 데이터를 사용하여 다양한 병변 유형, 포함하여 훈련 세트에 포함되지 않은 희귀 병변을 포함한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 깊이 측도 학습은 최소한의 레이블 예시로 무선 캡슐 내 endoscopy에서 다수의 병변 유형을 효과적으로 인식할 수 있는가?
• RQ2 서포트 샘플의 수가 WCE 데이터에서 few-shot 병변 인식 성능에 어떤 영향을 미치는가?
• RQ3 AlexNet, VGG-19, ResNet 중 어떤 기본 CNN 아키텍처가 제한된 데이터 조건에서 가장 높은 성능을 보이는가?
• RQ4 훈련 데이터에 존재하지 않는 새로운 병변 카테고리로의 일반화가 가능한가?
• RQ5 클래스 내 변동성과 병변 크기(예: 혈관확장증)가 few-shot 환경에서 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• AlexNet 기반 Lesion2Vec 모델은 7개의 서포트 샘플을 사용할 때 91.0%의 최고 F-스코어를 기록하여, 동일 조건에서 VGG-19와 ResNet을 모두 앞서는 성능을 보였다.
• 1개의 서포트 샘플만 사용할 경우 ResNet 모델이 가장 높은 성능(81.7% F-스코어)을 기록했지만, 서포트 샘플 수가 증가함에 따라 성능이 크게 하락했다.
• VGG-19 모델은 5개 이상의 서포트 샘플이 필요했으며, 9개의 서포트 샘플을 사용할 때 최고 F-스코어 88.8%를 기록했다.
• 테스트 중에 훈련 중에 볼 수 없었던 새로운 병변 유형으로의 효과적인 일반화를 보이며, few-shot 학습 능력이 확인되었다.
• 모델 성능은 클래스 내 변동성과 병변 크기에 가장 민감했으며, 시각적 단서가 제한된 작은 병변인 혈관확장증과 같은 병변은 더 큰 도전 과제를 안고 있었다.
• 시ames 네트워크 아키텍처 내에서 트리플릿 손실을 사용함으로써 임베딩 품질이 크게 향상되어 다양한 병변 유형 간 정확한 유사도 계산이 가능해졌다.