[논문 리뷰] Magnification-independent Histopathological Image Classification with Similarity-based Multi-scale Embeddings

Yibao Sun, Xingru Huang외 3명|arXiv (Cornell University)|2021. 07. 02.

AI in cancer detection참고 문헌 46인용 수 5

한 줄 요약

이 논문은 다양한 배율 수준에서 강건한 유사도 인식 이미지 표현을 학습하기 위해 유사도 기반 다중 척도 임베딩(SMSE)을 사용하는 배율에 독립적인 조직병리학적 이미지 분류 방법을 제안한다. 이는 쌍 손실과 트리플릿 손실을 활용하여 다양한 배율 수준에서의 유사도 기반 표현을 학습한다. 이 방법은 분류 정확도를 크게 향상시키며, 기존 방법 대비 BreakHis 기준 5–18%의 상대적 향상을 달성한다.

ABSTRACT

The classification of histopathological images is of great value in both cancer diagnosis and pathological studies. However, multiple reasons, such as variations caused by magnification factors and class imbalance, make it a challenging task where conventional methods that learn from image-label datasets perform unsatisfactorily in many cases. We observe that tumours of the same class often share common morphological patterns. To exploit this fact, we propose an approach that learns similarity-based multi-scale embeddings (SMSE) for magnification-independent histopathological image classification. In particular, a pair loss and a triplet loss are leveraged to learn similarity-based embeddings from image pairs or image triplets. The learned embeddings provide accurate measurements of similarities between images, which are regarded as a more effective form of representation for histopathological morphology than normal image features. Furthermore, in order to ensure the generated models are magnification-independent, images acquired at different magnification factors are simultaneously fed to networks during training for learning multi-scale embeddings. In addition to the SMSE, to eliminate the impact of class imbalance, instead of using the hard sample mining strategy that intuitively discards some easy samples, we introduce a new reinforced focal loss to simultaneously punish hard misclassified samples while suppressing easy well-classified samples. Experimental results show that the SMSE improves the performance for histopathological image classification tasks for both breast and liver cancers by a large margin compared to previous methods. In particular, the SMSE achieves the best performance on the BreakHis benchmark with an improvement ranging from 5% to 18% compared to previous methods using traditional features.

연구 동기 및 목표

• 조직병리학적 이미지 분류에서 배율 변동 문제를 해결함으로써 모델의 일반화 능력을 향상시키기 위해.
• 형태학적 변동과 클래스 불균형으로 인해 성능이 떨어지는 기존 방법의 한계를 극복하기 위해.
• 동일한 클래스에 속하는 종양 간의 공통된 형태학적 패턴을 활용하여 더 효과적인 이미지 표현을 학습하기 위해.
• 다양한 배율 요소에 대한 강건성을 확보하기 위해 훈련 중 다중 척도 입력을 활용하는 훈련 전략을 개발하기 위해.
• 어려운 잘못 분류된 샘플을 강조하고 잘 분류된 쉬운 샘플을 억제함으로써 하드 샘플 채굴에 의존하지 않고 클래스 불균형을 완화하기 위해.

제안 방법

• 이 방법은 이미지 쌍과 트리플릿에서 유사도 기반 임베딩을 학습하기 위해 쌍 손실과 트리플릿 손실을 활용하며, 조직병리학적 이미지 간의 형태학적 유사성을 포착한다.
• 훈련 중 서로 다른 배율로 획득한 이미지를 동시에 네트워크에 입력함으로써 다중 척도 임베딩을 학습한다.
• 쉬운, 잘 분류된 샘플을 동적으로 억제하고 어려운 분류가 어려운 샘플의 손실을 증가시키기 위해 강화된 포칼 손실을 도입한다.
• 임베딩 공간은 의미적 유사성을 반영하도록 최적화되어 있어, 형태학적 표현으로서 정확한 이미지 유사도 측정이 가능하다.
• 대비 학습 원리에 따라 엔드 투 엔드로 모델을 훈련시켜 다양한 배율 수준에서의 일반화 능력을 향상시킨다.
• 척도 변화에 대해 공유 표현을 학습함으로써 배율에 대해 불변인 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 유사도 기반 임베딩은 다양한 배율 수준에서 조직병리학적 이미지 분류 성능을 향상시키는 데 기여하는가?
• RQ2 다중 척도 동시 훈련은 어떻게 배율 변동에 대한 모델의 강건성을 향상시키는가?
• RQ3 강화된 포칼 손실은 조직병리학 데이터셋에서 클래스 불균형의 악영향을 어느 정도 완화할 수 있는가?
• RQ4 이미지 쌍과 트리플릿에서 학습함으로써 기존 특징 학습 방식보다 더 분류 능력이 뛰어난 표현을 얻을 수 있는가?
• RQ5 BreakHis와 같은 벤치마크 데이터셋에서 제안된 SMSE 방법은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 기존의 전통적 특징을 사용한 방법에 비해 SMSE 방법은 BreakHis 벤치마크에서 분류 정확도를 5–18% 상대적으로 향상시켰다.
• 모델는 다중 척도 훈련 덕분에 강력한 배율에 독립성을 보이며, 다양한 배율 수준에서 높은 성능 유지를 유지한다.
• 강화된 포칼 손실은 쉬운 샘플의 영향을 효과적으로 줄이고 어려운 예측이 어려운 샘플의 분류 성능을 향상시켜 전체 성능 향상에 기여한다.
• 유사도 기반 임베딩은 기존의 이미지 특징보다 조직병리학적 형태학을 더 효과적으로 표현한다.
• 이 방법은 유방암 및 간암 분류 작업 모두에서 기존 방법을 능가하며, 일반화 능력을 확인한다.
• 트리플릿과 쌍 손실의 사용은 특히 복잡하고 불균형한 데이터셋에서 학습된 임베딩의 분류 능력을 크게 향상시킨다.