[논문 리뷰] Pyramid-Focus-Augmentation: Medical Image Segmentation with Step-Wise Focus

Vajira Thambawita, Steven A. Hicks외 2명|arXiv (Cornell University)|2020. 12. 14.

Retinal Imaging and Analysis참고 문헌 8인용 수 6

한 줄 요약

이 논문은 소규모 데이터셋에서 모델 성능을 햖थ하기 위해 계층적 격자 기반 변환(256×256에서 4×4까지)을 적용하는 새로운 데이터 증강 기법인 피라미드-포커스-증강(PYRA)을 소개한다. 다중 해상도 격자 변환 마스크를 기반으로 U-Net 모델을 훈련시킴으로써, PYRA는 분할 정확도를 향상시키고 폴립 영역에 대한 단계적 주의를 가능하게 하여, Medico 2020 대肠 폴립 분할 도전 대회에서 테스트 mIoU 0.6981과 Dice 스코어 0.7887의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Segmentation of findings in the gastrointestinal tract is a challenging but also an important task which is an important building stone for sufficient automatic decision support systems. In this work, we present our solution for the Medico 2020 task, which focused on the problem of colon polyp segmentation. We present our simple but efficient idea of using an augmentation method that uses grids in a pyramid-like manner (large to small) for segmentation. Our results show that the proposed methods work as indented and can also lead to comparable results when competing with other methods.

연구 동기 및 목표

• 소규모 데이터셋에서 특히 희귀한 양성 발견 사례가 존재할 때, 부족한 주석이 달린 의료 영상 문제를 해결하기 위해.
• 복잡한 아키텍처가 필요 없이 소규모 의료 데이터셋에서 딥 러닝 모델 성능을 향상시키는 데이터 증강 전략을 개발하기 위해.
• 다중 해상도 격자 스케일을 통해 점진적으로 폴립 영역에 주의를 기울이는 방식으로, 점진적 주의 기능을 가능하게 하기 위해.
• 계산 비용을 줄이기 위해 충분한 경우 저해상도 격자 사용이 가능한, 조정 가능한 탄력적인 증강 방법을 제공하기 위해.
• 모든 분할 모델 및 작업과 호환되도록 하여, 의료 영상 분야 전반에 걸쳐 널리 적용 가능한 방법을 확보하기 위해.

제안 방법

• PYRA는 4×4, 8×8, 16×16, 32×32, 64×64, 128×128, 256×256 크기의 칸막이 격자(체스보드)를 생성하여 입력 영상을 증강함으로써, 훈련 데이터를 800개에서 6,400개로 증가시킨다.
• 진정한 분할 픽셀이 포함된 경우 해당 셀을 양성으로 표시함으로써, 지도 마스크를 격자 기반 표현으로 변환한다.
• 원본 영상과 무작위 선택된 격자 영상의 스택드 입력을 기반으로 U-Net 모델을 훈련시키며, 해당 격자 변환 지도 마스크를 예측한다.
• 예측 불확실성을 평균 및 표준편차 출력을 통해 추정하기 위해, 각 입력에 대해 50회의 몬테카를로 드롭아웃 추론을 적용한다.
• 최종 예측은 훈련 모드에서 50회의 스토케스틱 전방 전파를 평균화하여 생성되며, 출력은 원본 해상도(256×256)로 재구성된다.
• 메디코 2020 도전 대회에서의 평가를 위해 검증 및 테스트 세트에서 mIoU와 Dice 계수를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 피라미드 구조의 격자 증강은 희귀한 양성 예제가 많은 소규모 의료 데이터셋에서 분할 성능을 향상시킬 수 있는가?
• RQ2 다중 해상도 격자를 통한 폴립 영역에 대한 단계적 주의가 모델의 주의 집중과 예측 정확도를 향상시키는가?
• RQ3 제안된 증강 방법은 일반적인 데이터 증강과 U-Net과 같은 표준 딥 러닝 모델과 효과적으로 조합될 수 있는가?
• RQ4 표준편차로 측정된 모델의 불확실성은 정확한 폴립 영역 탐지와 어느 정도 상관이 있는가?
• RQ5 성능 손실 없이도 계산 비용을 줄이기 위해 저해상도 격자로 조정이 가능한가?

주요 결과

• PYRA는 모든 실험에서 가장 높은 테스트 mIoU 0.6981과 Dice 스코어 0.7887을 기록하여 베이스라인 방법을 모두 압도했다.
• PYRA만을 사용한 실험(Exp-3)에서 가장 우수한 검증 성능를 기록하여 mIoU 0.7693과 Dice 0.8447을 달성하였으며, 이는 강력한 일반화 능력을 시사한다.
• 표준편차 맵으로 시각화된 모델 신뢰도는 폴립 중심 영역에서 가장 높고, 외곽 경계부에서는 낮아, 핵심 영역에 집중된 주의를 확인한다.
• 모델은 2×2에서 256×256까지의 모든 격자 스케일에서 폴립 영역을 성공적으로 예측하여, 굵은 해상도에서 미세한 해상도로 점진적으로 정밀도를 향상시키는 것을 보여주었다.
• 일반 증강과 PYRA를 조합한 Exp-4는 Exp-3에 비해 성능이 열 劣하여, 기존 증강 기법이 피라미드-포커스 메커니즘과 갈등을 일으킬 수 있음을 시사한다.
• 이 방법은 탄력적이며, 어떤 분할 모델에도 적용 가능하며, 필요에 따라 저해상도 격자로 조정하여 더 빠른 추론을 가능하게 한다.