[논문 리뷰] Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification Using Model Ensembles

Alexander Hustinx, Fabio Hellmann외 5명|arXiv (Cornell University)|2022. 11. 12.

Genomic variations and chromosomal abnormalities인용 수 5

한 줄 요약

이 논문은 iResNet-ArcFace를 도입하고 TTA(테스트 시 증강)를 통한 모델 앙상블을 도입함으로써 기존 GestaltMatcher의 오래된 아키텍처를 대체하여 초희귀 유전성 질환 검증 성능을 향상시킨다. 이 앙상블 모델은 최신 기술 수준(SOTA)의 성능을 달성하여, 볼 수 있는 질환에서는 상위 1위 정확도가 52.99%로 향상되었고, 볼 수 없는 초희귀 질환에서는 35.98%에 이를 것으로 나타났다.

ABSTRACT

Rare genetic disorders affect more than 6% of the global population. Reaching a diagnosis is challenging because rare disorders are very diverse. Many disorders have recognizable facial features that are hints for clinicians to diagnose patients. Previous work, such as GestaltMatcher, utilized representation vectors produced by a DCNN similar to AlexNet to match patients in high-dimensional feature space to support "unseen" ultra-rare disorders. However, the architecture and dataset used for transfer learning in GestaltMatcher have become outdated. Moreover, a way to train the model for generating better representation vectors for unseen ultra-rare disorders has not yet been studied. Because of the overall scarcity of patients with ultra-rare disorders, it is infeasible to directly train a model on them. Therefore, we first analyzed the influence of replacing GestaltMatcher DCNN with a state-of-the-art face recognition approach, iResNet with ArcFace. Additionally, we experimented with different face recognition datasets for transfer learning. Furthermore, we proposed test-time augmentation, and model ensembles that mix general face verification models and models specific for verifying disorders to improve the disorder verification accuracy of unseen ultra-rare disorders. Our proposed ensemble model achieves state-of-the-art performance on both seen and unseen disorders.

연구 동기 및 목표

• 제한된 환자 이미지 자료를 바탕으로 초희귀 유전성 질환의 진단 과제를 해결하기 위해 딥 페이셜 페노타이핑 모델의 성능을 향상시키기 위해.
• 기존의 GestaltMatcher와 같은 모델들이 오래된 아키텍처와 전이 학습 데이터셋에 의존하는 한계를 극복하기 위해.
• 아키텍처 업데이트, 정규화 기법, 추론 시 전략을 통해 볼 수 없는 초희귀 질환에 대한 일반화 능력과 성능을 향상시키기 위해.
• 일반적인 얼굴 인식 모델과 질환 특화 모델을 융합하여 정확도를 향상시키는 견고한 모델 앙상블을 개발하기 위해.

제안 방법

• GestaltMatcher의 DCNN를 iResNet-50 및 iResNet-100으로 대체하고, 더 나은 얼굴 표현 학습을 위해 ArcFace 손실 함수를 적용한다.
• 다양한 얼굴 인식 데이터셋(Glint360K, MS-Celeb-1M 등)을 사용하여 전이 학습 성능을 평가하고, 페노타이핑에 최적의 사전 훈련 데이터를 식별한다.
• 테스트 시 증강(TTA)을 적용하여 테스트 이미지의 색상 및 수평 뒤집기 변형을 생성함으로써 모델의 강인성과 일관성을 향상시킨다.
• 일반적인 얼굴 인식 모델과 질환 특화로 미세조정된 모델의 예측을 융합하는 모델 앙상블을 구현한다.
• 증강된 테스트 이미지와 갤러리 이미지의 표현 벡터 간의 코사인 거리를 사용하여 유사도 점수를 계산한다.
• 모든 증강된 이미지 및 모델 예측 표현에서의 거리 벡터를 평균하여 최종 순위를 산출한다.

실험 결과

연구 질문

• RQ1 GestaltMatcher의 기본 아키텍처와 손실 함수를 교체할 경우, 볼 수 있는 질환과 볼 수 없는 초희귀 질환에서의 성능에 어떤 영향을 미치는가?
• RQ2 딥 페이셜 페노타이핑을 위한 초희귀 유전성 질환 진단에 있어 어떤 얼굴 인식 데이터셋이 가장 뛰어난 전이 학습 성능을 보이는가?
• RQ3 테스트 시 증강(TTA)이 볼 수 없는 초희귀 질환에 대한 얼굴 페노타이핑 모델의 강인성과 정확도를 향상시키는가?
• RQ4 일반적인 얼굴 인식 모델과 질환 특화 모델을 앙상블 학습을 통해 융합할 경우, 볼 수 있는 질환과 볼 수 없는 질환 모두에서 성능 향상이 이루어지는가?
• RQ5 드롭아웃 및 L2 가중치 감소와 같은 정규화 기법이 볼 수 없는 질환에 대한 과적합을 완화하고 일반화 능력을 향상시키는 데 얼마나 기여하는가?

주요 결과

• Glint360K 사전 훈련을 사용한 iResNet-ArcFace 모델은 모든 메트릭에서 원래의 GestaltMatcher 베이스라인을 초월했으며, 특히 볼 수 없는 질환에서 뛰어난 성능을 보였다.
• GMDB에 대해 미세조정을 수행한 결과, 볼 수 있는 질환(GMDB-Frequent)의 상위 1위 정확도는 49.25%로 향상되었지만, 볼 수 없는 질환(GMDB-Rare)에서는 성능 저하가 발생하여 과적합이 확인되었다.
• 테스트 시 증강(TTA)을 적용한 결과, 거의 모든 모델에서 정확도가 향상되었으며, 특히 앙상블 설정에서 가장 높은 성능 향상이 관찰되었다.
• TTA를 적용한 최종 모델 앙상블은 GMDB-Frequent에서 최신 기술 수준의 상위 1위 정확도 52.99%를 달성했고, GMDB-Rare에서는 35.98%에 이를 것으로 나타나, 기존 베이스라인(15.96% 및 19.26%)을 크게 능가했다.
• 특성 레이어에 드롭아웃과 L2 가중치 감소를 적용한 정규화 기법은 볼 수 없는 질환에서의 성능 향상에 기여했으며, L2 가중치 감소는 일관되게 긍정적인 영향을 미쳤다.
• 앙상블 전략은 일반적인 얼굴 인식 모델과 질환 특화 모델의 장점을 효과적으로 융합하여, 볼 수 있는 질환과 볼 수 없는 질환 모두에서 강인성과 일반화 능력을 향상시켰다.