[논문 리뷰] Deep Neural Patchworks: Coping with Large Segmentation Tasks

Marco Reisert, Maximilian Frederik Russe외 3명|arXiv (Cornell University)|2022. 06. 07.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 전역적 맥락 주입과 기하학적 증강을 통해 메모리 제약을 고려한 계층적, 패치 기반 분할 프레임워크인 딥 네ural 패치워크스(DNP)를 소개한다. 이 방법은 군집적이고 무작위적인 패치 샘플링을 통해 대규모 2D/3D 생물의학 영상에서의 메모리 한계를 해결하며, 군집적이고 세분화된 주의 메커니즘과 다중 척도 특징 융합을 통해 고해상도 추론을 가능하게 하여 전체 영상 메모리가 필요 없이도 강건하고 맥락 인식 분할을 달성한다.

ABSTRACT

Convolutional neural networks are the way to solve arbitrary image segmentation tasks. However, when images are large, memory demands often exceed the available resources, in particular on a common GPU. Especially in biomedical imaging, where 3D images are common, the problems are apparent. A typical approach to solve this limitation is to break the task into smaller subtasks by dividing images into smaller image patches. Another approach, if applicable, is to look at the 2D image sections separately, and to solve the problem in 2D. Often, the loss of global context makes such approaches less effective; important global information might not be present in the current image patch, or the selected 2D image section. Here, we propose Deep Neural Patchworks (DNP), a segmentation framework that is based on hierarchical and nested stacking of patch-based networks that solves the dilemma between global context and memory limitations.

연구 동기 및 목표

• 대규모 2D/3D 의료 영상, 특히 3D 부피 영상에서 딥 네럴 네트워크 학습 및 추론 시 발생하는 메모리 오버로드 문제를 해결한다.
• 작은 영상 패치를 독립적으로 처리하는 표준 패치 기반 분할 방법에서 발생하는 전역 맥락 손실 문제를 해결한다.
• 제한된 GPU 메모리만을 사용하여 대규모 의료 영상의 강건하고 고해상도 세분화 분할을 가능하게 한다.
• 계층적이고 중첩된 패치 기반 접근과 척도 간 특징 융합을 통해 작은 고해상도 패치에 전역 맥락 정보를 통합한다.
• 데이터 증강, 주의 기반 패치 선택, 다수준 추론을 지원하는 의료 영상 분할에 특화된 유연하고 모듈화된 프레임워크를 개발한다.

제안 방법

• 고정 크기의 패치(예: 32² 또는 32³)를 다양한 척도에서 처리하는 계층적 패치워크 아키텍처를 사용하며, 물리적 크기는 감소하지만 해상도는 증가한다.
• 거시적에서 미세적 방향으로의 무작위 패치 샘플링 전략을 적용: 초기 큰 패치가 전역 맥락을 포괄하고, 유망한 영역에서의 재귀적 정밀 조정이 이어진다.
• 더 높은 수준의 특징 융합을 통해 더 미세한 수준의 패치에 거시적 맥락을 주입함으로써 고해상도 예측이 전반적인 영상 구조를 반영하도록 보장한다.
• 패치 자르기 과정에서 무작위 왜곡을 통해 기하학적 데이터 증강(회전, 뒤집기, 늘리기 등)을 암시적으로 적용하여 이상치에 대한 강건성을 향상시킨다.
• 각 수준에서 `lazyEval`을 통한 주의 기반 정렬을 사용하여 가장 확신 있는 패치만 유지함으로써 계산 부담을 줄이면서도 정확도를 유지한다.
• 공간 가중치(余弦 또는 제곱 여측)를 사용하여 최종 예측 결과를 조합하며, 확률, 마스크 또는 클래스 인덱스 등의 다양한 형식으로 출력 가능하며, 선택적 임계값 설정도 지원한다.

실험 결과

연구 질문

• RQ1 메모리 제약이 엄격한 대규모 3D 의료 영상에서, 패치 기반 분할 프레임워크가 전역 맥락을 유지할 수 있는가?
• RQ2 다중 척도 특징 융합을 통한 계층적이고 중첩된 패치 기반 접근 방식이 표준 패치별 추론 방식보다 분할 정확도를 어떻게 향상시키는가?
• RQ3 기하학적 증강을 통한 무작위 패치 샘플링이 의료 영상 분할에서 노이즈와 이상치에 대한 강건성을 얼마나 향상시키는가?
• RQ4 다중 수준에서 주의 기반 패치 선택이 분할 정확도를 훼손하지 않으면서 계산 비용을 어떻게 줄일 수 있는가?
• RQ5 제안된 프레임워크는 고정 크기의 작은 패치만을 사용하여도 대규모 의료 부피의 전체 커버리지 및 고해상도 분할을 얼마나 효과적으로 달성할 수 있는가?

주요 결과

• DNP 프레임워크는 고정 크기의 작은 패치(예: 32³ 볼륨)만을 사용하여 대규모 3D 의료 영상의 고해상도 세분화 분할을 가능하게 하여 GPU 메모리 사용을 크게 감소시킨다.
• 전역 맥락 주입을 통한 계층적 패치 기반 접근은 표준 패치 기반 방법에서 상실되는 먼 거리의 영역 간 구조적 관계를 유지함으로써 분할 정확도를 향상시킨다.
• 기하학적 증강을 통한 무작위 패치 샘플링은 노이즈와 이상치에 대한 강건성을 향상시키며, 회전되거나 왜곡된 영상 패atters를 효과적으로 처리할 수 있음을 입증한다.
• `lazyEval`을 통한 주의 기반 정렬을 적용함으로써 깊이 있는 수준에서 처리하는 패치 수를 줄이면서도 높은 성능을 유지하여 추론 효율성을 향상시킨다.
• 프레임워크는 임계값 설정이 가능한 임계값 마스크 및 확률 맵을 포함한 다양한 출력 형식을 지원하며, NIfTI 헤더에 레이블 이름을 포함하는 기능도 제공한다.
• TensorFlow로 구현된 패치워크 툴박스는 NIfTI 형식을 지원하며, 최소한의 메모리 오버헤드로 의료 영상 분할 작업을 위한 엔드 투 엔드 학습 및 추론을 가능하게 한다.