[논문 리뷰] Learning to Downsample for Segmentation of Ultra-High Resolution Images

Jin Chen, Ryutaro Tanno외 3명|arXiv (Cornell University)|2021. 09. 22.

Advanced Image Processing TechniquesComputer Science참고 문헌 31인용 수 21

한 줄 요약

이 논문은 세분화 난이도에 따라 적응적으로 고해상도 이미지를 샘플링하는 학습 가능한 다운샘플링 모듈을 제안하며, 가장자리 민감한 정규화 손실을 통해 엔드투엔드 훈련을 통해 샘플링 밀도를 최적화한다. 이 방법은 균일하고 최첨단의 가장자리 기반 다운샘플링 기법들과 비교해 초고해상도 의료, 항공 및 거리 전경 이미지에서 뛰어난 정확도-효율성 트레이드오프를 달성한다.

ABSTRACT

Many computer vision systems require low-cost segmentation algorithms based on deep learning, either because of the enormous size of input images or limited computational budget. Common solutions uniformly downsample the input images to meet memory constraints, assuming all pixels are equally informative. In this work, we demonstrate that this assumption can harm the segmentation performance because the segmentation difficulty varies spatially. We combat this problem by introducing a learnable downsampling module, which can be optimised together with the given segmentation model in an end-to-end fashion. We formulate the problem of training such downsampling module as optimisation of sampling density distributions over the input images given their low-resolution views. To defend against degenerate solutions (e.g. over-sampling trivial regions like the backgrounds), we propose a regularisation term that encourages the sampling locations to concentrate around the object boundaries. We find the downsampling module learns to sample more densely at difficult locations, thereby improving the segmentation performance. Our experiments on benchmarks of high-resolution street view, aerial and medical images demonstrate substantial improvements in terms of efficiency-and-accuracy trade-off compared to both uniform downsampling and two recent advanced downsampling techniques.

연구 동기 및 목표

• 초고해상도 이미지 세분화에서 균일한 다운샘플링의 한계를 해결하기 위해, 모든 픽셀이 동일하게 정보가 있다고 가정하고 일반적으로 중요 영역을 과소 샘플링하는 문제를 해결한다.
• 기존의 가장자리 기반 다운샘플링 방법이 고정된 수작업 설계된 목표에 의존하여 세분화 정확도를 직접 최적화하지 못하는 부적절한 성능을 해결한다.
• 세분화 난이도가 높은 영역에 샘플링 예산을 동적으로 할당하는 엔드투엔드 훈련 가능한 다운샘플링 모듈을 개발한다.
• 배경과 같은 단순 영역을 과다 샘플링하는 등의 열악한 해법을 방지하기 위해 학습 과정을 정규화한다.
• 의료, 항공 및 도시 거리 전경 영상과 같은 다양한 도메인에서 일관된 정확도 및 효율성 향상을 입증한다.

제안 방법

• 낮은 해상도 이미지를 입력으로 받아 샘플링 밀도 맵 $ \mathbf{d} $ 를 예측하는 학습 가능한 변형 모듈 $ D_{\theta} $ 가 도입되며, 이는 원본 고해상도 이미지에서 비균일한 샘플링을 이끌어낸다.
• 변형 샘플러 $ G_d $ 는 예측된 밀도 맵을 사용해 균일한 샘플링 대신 적응적으로 픽셀을 선택함으로써 다운샘플드 이미지 $ \hat{\mathbf{X}} $ 를 생성한다.
• 샘플링 과정은 미분 가능하므로, 다운샘플링 모듈 $ D_{\theta} $ 와 세분화 네트워크 $ S_{\phi} $ 를 함께 엔드투엔드 최적화할 수 있다.
• 객체 경계 근처에 샘플링 집중을 유도하기 위해 가장자리 손실 정규화 항목이 도입되어, 강인성 향상과 배경 영역 과다 샘플링 방지를 돕는다.
• 세분화 손실과 가장자리 손실을 함께 최적화함으로써, 세분화 성능을 극대화하는 데이터에 의존하는 샘플링 전략을 학습할 수 있다.

실험 결과

연구 질문

• RQ1 균일한 다운샘플링 방식이 모든 픽셀을 동일하게 간주하는 데 비해, 학습 가능한 다운샘플링 모듈이 초고해상도 이미지 세분화에서 정확도 향상을 이룰 수 있는가?
• RQ2 다운샘플링과 세분화를 함께 엔드투엔드 최적화하면 고정된 수작업 설계된 샘플링 전략보다 효율성-정확도 트레이드오프가 향상되는가?
• RQ3 가장자리 손실 정규화 항목의 포함이 다운샘플링 모듈의 강인성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 학습된 샘플링 전략이 객체 경계 명확도나 의미적 신호 분포와 같은 도메인 특성에 얼마나 적응하는가?
• RQ5 의료 히스토로지, 항공 및 도시 거리 전경 이미지 등 다양한 초고해상도 데이터셋에 대해 이 방법이 일반화 가능한가?

주요 결과

• Cityscapes 데이터셋에서 모든 다운샘플링 스케일에서 두 번째로 우수한 베이스라인 대비 최대 4%p 높은 mIoU를 달성하여 뚜렷한 정확도 향상을 입증한다.
• 베이스라인 대비 최대 47%의 계산 비용 절감을 이루었으며, 동시에 세분화 성능을 유지하거나 향상시켰다.
• DeepGlobe 및 PCa-Histo 데이터셋에서 레이블이 정밀한 경계가 아닌 고수준 의미 지식 기반일 경우, 본 방법이 뛰어난 성능을 보였다.
• 학습된 샘플링 전략은 데이터에 의존적이다: Cityscapes에서는 경계 근처에 조밀하게 샘플링하지만, DeepGlobe 및 PCa-Histo에서는 경계에서 떨어진 곳을 샘플링할 수 있으며, 이는 의미 복잡성에 대한 적응성을 보여준다.
• 가장자리 손실 정규화가 단순 영역 과다 샘플링을 효과적으로 방지하고 일반화 능력을 향상시키며, 특히 객체 경계가 세분화의 주요 단서가 되지 않는 경우에 유의미한 개선을 이룬다.