[논문 리뷰] DeepDefacer: Automatic Removal of Facial Features via U-Net Image Segmentation

Anish Khazane, Julien Hoachuck외 2명|arXiv (Cornell University)|2022. 05. 31.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

DeepDefacer는 전통적인 공액 정렬 기반 도구인 Pydeface에 비해 91% 빠르고 표준 3D U-Net에 비해 92% 적은 파rameter를 사용하면서도 높은 분할 정확도를 유지하고 비정상적인 얼굴 해부학에 더 잘 일반화하는 경량 3D U-Net 딥러닝 모델을 제안한다. 이는 자동 MRI 익명화를 위한 것이다.

ABSTRACT

Recent advancements in the field of magnetic resonance imaging (MRI) have enabled large-scale collaboration among clinicians and researchers for neuroimaging tasks. However, researchers are often forced to use outdated and slow software to anonymize MRI images for publication. These programs specifically perform expensive mathematical operations over 3D images that rapidly slow down anonymization speed as an image's volume increases in size. In this paper, we introduce DeepDefacer, an application of deep learning to MRI anonymization that uses a streamlined 3D U-Net network to mask facial regions in MRI images with a significant increase in speed over traditional de-identification software. We train DeepDefacer on MRI images from the Brain Development Organization (IXI) and International Consortium for Brain Mapping (ICBM) and quantitatively evaluate our model against a baseline 3D U-Net model with regards to Dice, recall, and precision scores. We also evaluate DeepDefacer against Pydeface, a traditional defacing application, with regards to speed on a range of CPU and GPU devices and qualitatively evaluate our model's defaced output versus the ground truth images produced by Pydeface. We provide a link to a PyPi program at the end of this manuscript to encourage further research into the application of deep learning to MRI anonymization.

연구 동기 및 목표

• Pydeface와 같은 전통적인 MRI 익명화 도구가 느린 공액 정렬과 수치 최적화에 의존함에 따라 발생하는 비효율성과 계산 부담을 해결한다.
• 고정 변환 행렬에 의존하는 전통적 방법의 한계를 극복하여, 얼굴 이상이 있거나 해상도가 낮은 MRI 스캔에서 실패하는 문제를 해결한다.
• 비표준 얼굴 해부학을 포함한 다양한 MRI 스캔에 대해 일반화 가능한 딥러닝 기반 솔루션을 개발한다.
• 클라우드 인프라나 복잡한 소프트웨어 스택이 필요 없는 온디바이스 defacement를 가능하게 하여 연구자들이 접근하기 쉽게 한다.
• PyPI 및 향후 웹 통합을 통해 사용자 友好的이고 오픈소스인 도구를 제공하여 광범위한 보급과 피드백 기반 모델 개선을 지원한다.

제안 방법

• IXI 및 ICBM 데이터셋에서 얻은 MRI 스캔과 이중 얼굴 마스크 쌍을 기반으로 3D U-Net 아키텍처를 훈련시켜 얼굴 영역의 엔드 투 엔드 분할을 학습한다.
• 필터 크기와 파라미터 수를 감소시켜 전체 컨volution형 단순화된 아키텍처를 적용하여 추론 속도 향상과 메모리 사용량 감소를 도모한다.
• 훈련 중에 지도 학습을 위해 Pydeface가 생성한 진짜 마스크를 사용하여 기존의 익명화 표준과 일치하도록 한다.
• 예측된 이중 마스크를 원본 MRI 이미지에 요소별 곱셈 연산을 통해 적용하여 최종 익명화 출력을 생성한다.
• 클라우드 의존 없이 개인 워크스테이션에서도 배포가 가능한 CPU 및 GPU 추론 최적화를 수행한다.
• TensorFlow.js를 사용하여 향후 웹 기반 인터페이스에 모델을 통합하여 브라우저 내 추론을 가능하게 하고 데이터 프라이버시를 유지한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 분할 모델은 전통적인 공액 정렬 방법인 Pydeface에 비해 MRI 익명화에서 속도와 강건성 면에서 뛰어나게 되는가?
• RQ2 경량 3D U-Net은 표준 3D U-Net에 비해 분할 정확도와 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ3 딥러닝 모델은 전통적 익명화 알고리즘에 도전하는 비정상적인 얼굴 해부학을 가진 MRI 스캔에 얼마나 잘 일반화되는가?
• RQ4 기존 소프트웨어에 비해 계산 및 메모리 오버헤드를 크게 줄이면서도 높은 익명화 정확도를 달성할 수 있는가?
• RQ5 오픈소스 및 웹 기반 배포를 통해 딥러닝 기반 익명화 도구를 비전문가 사용자에게 어떻게 접근 가능하게 할 수 있는가?

주요 결과

• DeepDefacer는 다양한 CPU 및 GPU 장치에서 Pydeface 대비 평균 91%의 속도 향상을 달성하여 표준 하드웨어에서도 실시간 익명화를 가능하게 한다.
• 기준 3D U-Net에 비해 92% 적은 파라미터를 사용하여 메모리 사용량이 크게 감소한다.
• DeepDefacer는 Pydeface가 잘못된 애프린 변환으로 실패하는 비정상적인 얼굴 해부학을 가진 MRI 스캔을 처리하는 데서 Pydeface를 능가한다.
• 정량적 평가에서 DeepDefacer는 IXI 및 ICBM 데이터셋에서 높은 Dice, 정밀도 및 재현율 점수를 기록하여 강력한 분할 성능을 입증한다.
• 정성적 분석을 통해 DeepDefacer는 비표준 얼굴 구조가 있는 경우에도 더 일관되고 해부학적으로 타당한 익명화 결과를 생성함을 확인한다.
• 더 작은 필터와 엔드 투 엔드 훈련으로 인해 발생하는 비형상 마스크 구조는 주요 목표인 얼굴 영역 제거를 훼손하지 않으면서도 일반화 능력을 향상시킨다.