[논문 리뷰] Chest X-ray Inpainting with Deep Generative Models

Ecem Sogancioglu, Hu Shi외 2명|arXiv (Cornell University)|2018. 08. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 6

한 줄 요약

이 논문은 흉부 X선에서 누락된 영역을 현실적으로 복원하기 위해 세 가지 딥 생성 모델—컨텍스트 인코더, 시맨틱 이미지 인painting, 컨텍스트 추론 모델—을 사용하는 것을 제안한다. 120만 개의 정상 패치로 훈련된 모델들은 고해상도 재구성을 생성하며, 원본 이미지에서 빼면 이상 징후가 두드러지게 나타나는데, 인간 관찰자가 50퍼센트 이상의 경우에서 복원된 영역을 식별하지 못한다. 특히 컨텍스트 추론 모델에서 그러한 경향이 두드러진다.

ABSTRACT

Generative adversarial networks have been successfully applied to inpainting in natural images. However, the current state-of-the-art models have not yet been widely adopted in the medical imaging domain. In this paper, we investigate the performance of three recently published deep learning based inpainting models: context encoders, semantic image inpainting, and the contextual attention model, applied to chest x-rays, as the chest exam is the most commonly performed radiological procedure. We train these generative models on 1.2M 128 $ imes$ 128 patches from 60K healthy x-rays, and learn to predict the center 64 $ imes$ 64 region in each patch. We test the models on both the healthy and abnormal radiographs. We evaluate the results by visual inspection and comparing the PSNR scores. The outputs of the models are in most cases highly realistic. We show that the methods have potential to enhance and detect abnormalities. In addition, we perform a 2AFC observer study and show that an experienced human observer performs poorly in detecting inpainted regions, particularly those generated by the contextual attention model.

연구 동기 및 목표

• 최신 딥 생성 모델을 흉부 X선 영상의 인페인팅에 적용할 수 있는지 탐색하는 것.
• 정상 이미지로만 훈련된 생성 모델이 원본 이미지에서 뺀 결과에서 이상 징후를 드러내는가를 평가하는 것.
• 2AFC 관찰자 연구를 통해 전문가가 복원된 영역의 시각적 품질과 탐지 가능성을 평가하는 것.
• 재구성 기반 이상 탐지 기반으로 복원 기법이 미세한 이상을 향상시킬 수 있는지 확인하는 것.
• 정상 데이터가 레이블링되지 않은 의료 영상에서 비지도 생성 모델을 사용할 수 있는 기반을 마련하는 것.

제안 방법

• 60,000건의 건강한 흉부 X선에서 추출한 120만 개의 128×128 패치를 기반으로 세 가지 딥 생성 모델—컨텍스트 인코더, 시맨틱 이미지 인페인팅, 컨텍스트 추론 모델—을 훈련시었다.
• 각 모델은 주변 컨텍스트를 기반으로 패치의 중심 64×64 영역을 예측하도록 훈련되었으며, 현실감을 향상시키기 위해 적대적 훈련을 사용했다.
• 재구성 품질을 정량화하기 위해 정상 및 비정상 테스트 패치에서 PSNR를 평가했다.
• 원본 패치와 생성된 패치 간의 픽셀 수준 차이를 계산하여 차이를 강조했으며, 이는 잠재적인 이상 징후에 해당한다.
• 경험이 풍부한 방사선 전문의를 대상으로 2AFC 관찰자 연구를 수행하여 세 모델의 복원 영역을 인간이 식별하기 어려운 정도를 평가했다.
• 정상 X선의 대규모 데이터셋을 사용해 모델을 사전 훈련하였으며, 정상 및 비정상 영상에 대해 피팅 조정 없이 제로샷 추론이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 현대적인 딥 생성 모델이 정상 데이터만으로 흉부 X선에서 현실적이고 맥락적으로 일관된 인페인팅을 생성할 수 있는가?
• RQ2 컨텍스트 인코더, 시맨틱 인페인팅, 컨텍스트 추론 모델 등 서로 다른 생성 아키텍처가 의료 영상에서 재구성 품질과 현실감 측면에서 어떻게 비교되는가?
• RQ3 원본 이미지에서 복원된 패치를 뺀 결과에서 복원 영역이 이상 징후를 얼마나 잘 드러내는가? 이는 이상 탐지 잠재력과 관련이 있는가?
• RQ4 전문 방사선 전문의가 실제 영상과 복원된 영상 패치를 구분하는 데 얼마나 어려움을 느끼는가? 어떤 모델이 가장 현실적인 결과를 내는가?
• RQ5 생성 기반 인페인팅이 비정상 훈련 데이터가 없이도 임상 영상에서 미세하거나 가려진 이상을 강조하는 데 사용될 수 있는가?

주요 결과

• 컨텍스트 추론 모델이 가장 높은 시각적 현실감을 보였으며, 2AFC 시험에서 인간 관찰자가 실제 이미지를 올바르게 식별한 비율이 37.03퍼센트에 불과하여 실제 패치와의 구분이 매우 어려운 것으로 나타났다.
• 시맨틱 인페인팅 모델이 정상 패치에서 가장 높은 PSNR(30.18 ± 3.28)를 기록하여 정상 해부학적 구조의 재구성 정밀도가 뛰어났다.
• 비정상 패치에서는 모든 모델에서 PSNR가 크게 떨어졌으며, 컨텍스트 추론 모델이 26.79 ± 3.47를 기록하여 이상 징후를 충실하게 재구성하는 데 더 어려움을 겪는 것으로 나타났다.
• 원본 이미지와 생성된 패치 간의 픽셀 수준 차이 분석 결과, 정상 영역에서는 흰 잡음이 나타났지만, 종양과 같은 이상 구조는 강조되어 이상 탐지 잠재력이 확인되었다.
• 관찰자 연구 결과, 컨텍스트 추론 모델의 출력이 가장 현실적으로 느껴졌으며, 정확도가 37.03퍼센트의 시험에서 기대 수준 이하였고, 이는 높은 현실감을 뒷받침한다.
• 결과적으로, 정상 데이터만으로도 생성 기반 인페인팅이 임상적으로 타당한 재구성을 가능하게 하고 잔차 분석을 통해 이상 징후를 드러내며, 이는 비지도 이상 탐지에 활용될 수 있음을 입증한다.