[논문 리뷰] Acute Lymphoblastic Leukemia Detection Using Hypercomplex-Valued Convolutional Neural Networks

Guilherme Vieira, Marcos Eduardo Valle|arXiv (Cornell University)|2022. 05. 26.

Digital Imaging for Blood Diseases참고 문헌 34인용 수 5

한 줄 요약

이 논문은 혈액 도말 영상에서 급성 림프성 백혈병(ALL) 진단을 위해 여덟 개인 4차원 결합 대수체—쿼터니언, 코쿼터니언, 테사린, 클리포드 대수체 포함—를 사용하는 초복소수형 합성곱 신경망(HvCNNs)을 제안한다. HSV로 인코딩된 영상을 사용하여 HvCNNs는 단지 36,000개의 파라미터로 최대 96.6%의 평균 정확도를 달성하였으며, 실수형 모델을 크게 능가하고 상태 최고 수준의 성능에 근접하면서도 훨씬 더 작은 아키텍처를 사용하였다.

ABSTRACT

This paper features convolutional neural networks defined on hypercomplex algebras applied to classify lymphocytes in blood smear digital microscopic images. Such classification is helpful for the diagnosis of acute lymphoblast leukemia (ALL), a type of blood cancer. We perform the classification task using eight hypercomplex-valued convolutional neural networks (HvCNNs) along with real-valued convolutional networks. Our results show that HvCNNs perform better than the real-valued model, showcasing higher accuracy with a much smaller number of parameters. Moreover, we found that HvCNNs based on Clifford algebras processing HSV-encoded images attained the highest observed accuracies. Precisely, our HvCNN yielded an average accuracy rate of 96.6% using the ALL-IDB2 dataset with a 50% train-test split, a value extremely close to the state-of-the-art models but using a much simpler architecture with significantly fewer parameters.

연구 동기 및 목표

• 혈액 도말 영상에서 림프모세포를 분류하는 데 있어 초복소수형 합성곱 신경망(HvCNNs)의 효과성을 조사하는 것.
• 의료 영상 분류의 맥락에서 실수형 CNN과 비교하여 여덟 개의 4차원 결합 초복소수 대수체—쿼터니언, 코쿼터니언, 테사린, 클리포드 대수체 포함—의 성능을 평가하는 것.
• 초복소수형 네트워크가 실수형 모델보다 HSV로 인코딩된 영상의 구조적 일관성을 더 효과적으로 활용할 수 있는지 평가하는 것.
• 쿼터니언 이외의 초복소수 대수체, 예를 들어 테사린과 코쿼터니언 기반의 HvCNNs가 표준 쿼터니언 기반 네트워크보다 ALL 검출에서 더 뛰어난 성능을 보일 수 있는지 판단하는 것.
• HvCNNs가 실수형 깊은 신경망 모델인 ResNet18과 비교해 훨씬 적은 파라미터로도 최신 기술 수준의 정확도를 달성할 수 있음을 보여주는 것.

제안 방법

• 이 연구는 캔터 및 솔로도브니코프 프레임워크에서 유도된 4차원 결합 대수체—쿼터니언, 코쿼터니언, 테사린, 클라인 4원군 대수체 포함—기반의 여덟 개의 초복소수형 합성곱 신경망(HvCNNs)을 사용한다.
• 각 HvCNN은 초복소수 연산을 파rameter sharing과 구조화된 가중치 행렬을 통해 모방하는 실수형 합성곱 신경망 아키텍처를 기반으로 하여 효율적인 학습과 추론을 가능하게 한다.
• 모델들은 동일한 재현성과 공정성을 확보하기 위해 50% 훈련-테스트 분할을 사용하여 ALL-IDB2 데이터셋에서 훈련 및 평가된다.
• 성능 평가는 정확도, 중앙값 정확도, 스탠더드 테일 테스트를 통한 통계적 유의성으로 평가되며, 성능 순위를 시각화하기 위해 하세 다이어그램이 사용된다.
• 초복소수 대수체는 결합성과 잘 알려진 대수체—클리포드 대수체 및 케일리-딕슨 대수체—와의 동형성 등의 수학적 성질을 바탕으로 선택되어 이론적·실용적 관련성을 확보한다.
• 실수형 기준 모델은 동일한 조건에서 훈련되어 공정한 비교를 보장하며, 모든 모델은 동일한 영상 전처리 및 증강 파이프라인을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 초복소수형 합성곱 신경망(HvCNNs)이 실수형 CNN보다 혈액 도말 영상에서 림프모세포를 분류하는 데 있어 ALL 검출에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 쿼터니언 이외의 초복소수 대수체—예를 들어 테사린과 코쿼터니언—기반의 HvCNNs가 표준 쿼터니언 기반 네트워크보다 더 높은 성능을 달성하는가?
• RQ3 HSV로 인코딩된 영상의 사용이 RGB로 인코딩된 영상과 비교해 HvCNNs의 성능을 향상시키는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 HvCNNs가 ResNet18과 같은 깊은 실수형 모델에 비해 훨씬 적은 파라미터로 최신 기술 수준의 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ5 특정 대수적 성질(예: 교환법칙, 클리포드 대수체와의 동형성)을 가진 초복소수 대수체를 사용할 경우, 의료 영상 분류 과제에서 측정 가능한 성능 이점이 존재하는가?

주요 결과

• HSV로 인코딩된 영상을 사용한 최고 성능의 HvCNN은 평균 정확도 96.51%를 달성하였으며, 전이 학습을 사용한 ResNet18의 97.92% 정확도에 매우 가까이 다가섰다.
• HSV로 인코딩된 영상을 사용한 HvCNNs는 모든 실수형 모델을 능가하였으며, 후자의 경우 HSV 데이터에서 91.5%의 중앙값 정확도를 기록하여 모든 구성 중에서 가장 낮았다.
• 대수체 $ A[+1,+1] $ (클라인 4원군과 동형) 기반의 HvCNN은 모든 테스트 구성에서 가장 높은 중앙값 정확도 96.9%를 기록하였다.
• 테사린 대수체($ B[-1,+1] $) 기반과 코쿼터니언 대수체($ A[-1,+1] $) 기반의 HvCNNs는 모두 96.2%의 중앙값 정확도를 기록하였으며, 표준 쿼터니언 기반 모델을 능가하였다.
• 최고 성능의 HvCNN은 단지 36,000개의 학습 가능한 파라미터를 사용하였으며, 상태 최고 수준 비교에서 사용된 ResNet18 모델의 1140만 개 파라미터의 0.3%에 불과했다.
• 하세 다이어그램은 HSV로 인코딩된 영상에서 모든 HvCNNs가 RGB 및 HSV 기반 실수형 모델보다 유의미하게 뛰어난 성능을 보였음을 확인하였으며, 모든 쌍 비교에서 99% 신뢰 수준을 확보하였다.