[논문 리뷰] Design and Development of a Web-based Tool for Inpainting of Dissected Aortae in Angiography Images

Alexander Prutsch, Antonio Pepe외 1명|arXiv (Cornell University)|2020. 05. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 5

한 줄 요약

이 논문은 CTA 영상에서 해부학적 분리된 대동맥을 건강한 상태로 가상으로 복구할 수 있도록 전처리된 EdgeConnect 신경망을 사용하는 웹 기반 인painting 도구를 제안한다. 이 도구는 브라우저 인터페이스를 통해 손으로 그린 마스크를 이용해 딥러닝 기반 인painting에 접근할 수 있도록 단순화하여, 비전문가 사용자도 연구를 위해 인위적인 '전후 비교' 대동맥 분리 영상 쌍을 생성할 수 있도록 한다.

ABSTRACT

Medical imaging is an important tool for the diagnosis and the evaluation of an aortic dissection (AD); a serious condition of the aorta, which could lead to a life-threatening aortic rupture. AD patients need life-long medical monitoring of the aortic enlargement and of the disease progression, subsequent to the diagnosis of the aortic dissection. Since there is a lack of 'healthy-dissected' image pairs from medical studies, the application of inpainting techniques offers an alternative source for generating them by doing a virtual regression from dissected aortae to healthy aortae; an indirect way to study the origin of the disease. The proposed inpainting tool combines a neural network, which was trained on the task of inpainting aortic dissections, with an easy-to-use user interface. To achieve this goal, the inpainting tool has been integrated within the 3D medical image viewer of StudierFenster (www.studierfenster.at). By designing the tool as a web application, we simplify the usage of the neural network and reduce the initial learning curve.

연구 동기 및 목표

• 대동맥 분리 진행을 분석하기 위한 임상 연구에서 건강한 상태-분리된 CTA 영상 쌍의 부족 문제를 해결하기 위해.
• 비기술적 의료 연구자 및 임상의가 딥러닝 기반 인painting에 쉽게 접근할 수 있도록 단순화하기 위해.
• 최신 기술인 EdgeConnect 신경망을 사용자 친화적인 웹 애플리케이션으로 통합하여 의료 영상 분석에 활용하기 위해.
• 위험 평가 및 질병 모델링 향상을 위해 인위적인 영상 쌍(분리 전 및 분리 후) 생성을 가능하게 하기 위해.

제안 방법

• 도구는 EdgeConnect 신경망—이중 단계 GAN 모델—을 StudierFenster 웹 플랫폼에 통합하여 3D 의료 영상 뷰어를 제공한다.
• HTML, JavaScript, CSS로 구성된 클라이언트 측 웹 인터페이스를 통해 사용자는 CTA 단면 영상을 업로드하고 분리 영역에 손으로 마스크를 그릴 수 있다.
• 마스크와 영상 데이터는 AJAX를 통해 Flask 기반 백엔드 서버로 전송되며, 여기서 EdgeConnect 모델이 병행 프로세스로 실행되어 인페인팅 결과를 생성한다.
• 인페인팅 과정은 적대적 훈련을 기반으로 하며, 첫 번째 단계에서는 마스크 영역의 윤곽선을 재구성하고, 두 번째 단계에서는 생성 모델을 사용해 전체 영역을 완성한다.
• 시스템은 웹 서버에 호스팅되어 로컬 소프트웨어 설치가 필요 없으며, 브라우저 기반으로 직접 사용할 수 있다.
• 성능 측정 결과, 총 처리 시간의 약 92% (~4초)가 EdgeConnect 추론에 기인하며, 웹 프레임워크 및 네트워크 전송의 오버헤드는 최소한이다.

실험 결과

연구 질문

• RQ1 비기술적 의료 사용자를 대상으로 복잡한 딥러닝 기반 인페인팅에 접근할 수 있도록 웹 인터페이스가 효과적으로 기능할 수 있는가?
• RQ2 사전 훈련된 EdgeConnect 모델을 어떻게 의료 영상 뷰어에 통합하여 대동맥 분리의 가상 복구를 가능하게 할 수 있는가?
• RQ3 의료 영상 인페인팅을 위한 웹 애플리케이션에 딥러닝 모델을 구현할 경우 성능 오버헤드는 어느 정도인가?
• RQ4 생성된 영상 쌍(분리 전 및 분리 후)을 활용해 대동맥 벽의 구조적 변화를 시간 경과에 따라 연구할 수 있는가?
• RQ5 사용자 피드백을 어떻게 통합하여 윤곽선 지도 예측을 개선하고 인페인팅 품질을 향상시킬 수 있는가?

주요 결과

• 웹 기반 인페인팅 도구는 소프트웨어 설치 없이도 브라우저 기반으로 CTA 영상에서 대동맥 분리를 성공적으로 인페인팅하여, 학습 곡선을 크게 줄였다.
• 한 CTA 단면 영상에 대한 평균 종단 간 처리 시간은 약 4초이며, 이의 92%는 EdgeConnect 추론 단계에서 기인한다.
• 사용자 인터페이스는 직관적인 손으로 그린 마스크 그리기 기능을 지원하여, EdgeConnect를 명령줄로 실행하는 것에 비해 사용성 향상이 뚜렷했다.
• 인페인팅 결과는 분리된 대동맥을 시각적으로 타당한 건강한 상태로 성공적으로 변환했지만, 재구성 영역에서 약간의 뿌연 현상이 관찰되었다.
• 서버 측 Flask 애플리케이션과 네트워크 전송은 총 처리 시간의 8%에 불과하여 웹 스택의 오버헤드가 최소한임을 시사한다.
• 시스템은 3D 인페인팅을 위한 확장성이 있으며, 클라이언트 측 코드는 이미 다중 단면 전송을 지원하고 있으나, 백엔드 및 모델은 전체 3D 지원을 위해 업데이트가 필요하다.