[논문 리뷰] Genetic Neural Architecture Search for automatic assessment of human sperm images

Erfan Miahi, Seyed Abolghasem Mirroshandel외 1명|arXiv (Cornell University)|2019. 09. 20.

Sperm and Testicular Function참고 문헌 74인용 수 31

한 줄 요약

이 논문은 인간 정자 이미지 평가를 위한 최적의 컨볼루션 신경망 아키텍처를 자동으로 발견하기 위해 맞춤형 유전 알고리즘을 사용하는 새로운 신경망 아키텍처 탐색 프레임워크인 유전 신경망 아키텍처 탐색(GeNAS)을 제안한다. GeNAS는 계산 비용이 낮고 데이터 부족 및 클래스 불균형에 강건한 것으로 나타나 MHSMA 데이터셋에서 소포체 이상 탐지에 91.66%의 정확도, 머리 이상에 77.33%, 애크로소모 이상에 77.66%의 정확도를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Male infertility is a disease which affects approximately 7% of men. Sperm morphology analysis (SMA) is one of the main diagnosis methods for this problem. Manual SMA is an inexact, subjective, non-reproducible, and hard to teach process. As a result, in this paper, we introduce a novel automatic SMA based on a neural architecture search algorithm termed Genetic Neural Architecture Search (GeNAS). For this purpose, we used a collection of images called MHSMA dataset contains 1,540 sperm images which have been collected from 235 patients with infertility problems. GeNAS is a genetic algorithm that acts as a meta-controller which explores the constrained search space of plain convolutional neural network architectures. Every individual of the genetic algorithm is a convolutional neural network trained to predict morphological deformities in different segments of human sperm (head, vacuole, and acrosome), and its fitness is calculated by a novel proposed method named GeNAS-WF especially designed for noisy, low resolution, and imbalanced datasets. Also, a hashing method is used to save each trained neural architecture fitness, so we could reuse them during fitness evaluation and speed up the algorithm. Besides, in terms of running time and computation power, our proposed architecture search method is far more efficient than most of the other existing neural architecture search algorithms. Additionally, other proposed methods have been evaluated on balanced datasets, whereas GeNAS is built specifically for noisy, low quality, and imbalanced datasets which are common in the field of medical imaging. In our experiments, the best neural architecture found by GeNAS has reached an accuracy of 91.66%, 77.33%, and 77.66% in the vacuole, head, and acrosome abnormality detection, respectively. In comparison to other proposed algorithms for MHSMA dataset, GeNAS achieved state-of-the-art results.

연구 동기 및 목표

• 주관적이고 재현 불가능하며 표준화하기 어려운 수동 정자 형태 분석의 한계를 해결한다.
• 실제 의료 데이터셋에서 흔히 발생하는 데이터 부족, 클래스 불균형, 영상 노이즈 등의 과제를 극복하여 기존의 신경망 아키텍처 탐색(NAS) 방법이 제기하는 문제를 해결한다.
• 제한된 데이터와 노이즈가 많은 환경을 고려해 자동화되고 효율적이며 강건한 NAS 프레임워크를 의료 영상 분류 작업에 특화하여 개발한다.
• 소규모 및 불균형 데이터셋에서 흔히 발생하는 불안정한 학습 동역학 상황에서 신경망 아키텍처 평가를 효과적으로 수행할 수 있는 피트니스 함수를 설계한다.
• 최소한의 인간 간섭과 낮은 계산 비용으로도 컴act하고 높은 성능을 보이는 CNN 아키텍처를 발견할 수 있도록 한다.

제안 방법

• 일반적인 컨볼루션 신경망(CNN) 아키텍처의 제약된 검색 공간을 탐색하기 위해 메타-컨트롤러로 유전 알고리즘을 사용한다.
• 각 CNN 아키텍처를 필터 크기, 커널 크기, 스트라이드 등의 하이퍼파라미터를 인코딩한 유전자로 구성된 염색체로 표현한다.
• 학습 중 변동성이 큰 검증 정확도를 안정적으로 평가하기 위해 새로운 피트니스 함수인 GeNAS-중량 인자(GeNAS-WF)를 도입한다.
• 특수화된 유전 연산자 적용: 토너먼트 선택, 교차(Crossover; 아키텍처 깊이 탐색용), 변이(Mutation; 하이퍼파라미터 공간 탐색용).
• 해시 메커니즘을 구현하여 피트니스 평가 결과를 캐시하고 재사용함으로써 검색 과정을 크게 가속화한다.
• 형질표현 변환 과정 중에 기하학적 차원이 음수가 되는 유효하지 않은 아키텍처를 방지하기 위해 프루닝 단계를 통합한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘 기반의 NAS 프레임워크는 소규모, 불균형적이며 노이즈가 많은 데이터셋에서 정자 형태 분석을 위한 고성능 CNN 아키텍처를 효과적으로 발견할 수 있는가?
• RQ2 제안된 GeNAS-WF 피트니스 함수는 데이터 부족 및 학습 불안정성 상황에서 아키텍처 평가의 신뢰성을 어떻게 향상시키는가?
• RQ3 기존의 NAS 및 수작업 설계된 모델 대비 GeNAS는 성능을 유지하거나 향상시키면서도 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 발견된 아키텍처는 저품질, 염색되지 않은, 저해상도 영상이 포함된 실제 의료 영상 환경에서도 잘 일반화되는가?
• RQ5 이 프레임워크는 랜덤 서치 및 기존 수작업 설계 모델을 능가하는 인간 간섭이 없는 자동 아키텍처 탐색을 가능하게 하는가?

주요 결과

• GeNAS는 MHSMA 데이터셋에서 소포체 이상 탐지에 91.66%의 최신 기술 수준 정확도를 기록했으며, 머리 이상에선 77.33%, 애크로소모 이상에선 77.66%의 정확도를 달성하여 이전 방법들을 능가했다.
• GeNAS가 발견한 최적 아키텍처는 수작업 설계 모델과 랜덤 서치보다 높은 정밀도와 F0.5 스코어를 기록했으며, 머리 및 소포체 레이블의 경우 파라미터 수가 크게 줄어들었다.
• 단일 NVIDIA GPU에서 10일 이내의 학습으로도 충분히 빠른 계산 효율성을 보였으며, 다른 NAS 방법 대비 뛰어난 효율성을 입증했다.
• Grad-CAM 해석 결과, 모델이 생물학적으로 관련성이 있는 영역—머리, 애크로소모, 소포체—에 주로 주목하고 있음을 확인하여 임상적 해석 가능성의 타당성을 입증했다.
• 이 프레임워크는 클래스 불균형과 영상 노이즈에 강건하여, 고급 품질의 데이터가 부족한 실제 의료 응용 분야에 적합하다.
• 형질표현 변환 과정 중 프루닝 메커니즘이 음수 차원을 가진 유효하지 않은 아키텍처를 성공적으로 방지하여 검색의 안정성을 향상시켰다.