[논문 리뷰] Efficient Neural Architecture Search on Low-Dimensional Data for OCT Image Segmentation

Nils Gessert, Alexander Schlaefer|arXiv (Cornell University)|2019. 05. 07.

Retinal Imaging and Analysis참고 문헌 8인용 수 1

한 줄 요약

이 논문은 2D B-scan 대신 1D A-scan 데이터에서 아키텍처 검색을 수행함으로써 OCT 영상 분할을 위한 효율적인 신경망 아키텍처 탐색(NAS) 방법을 제안한다. 이 방법은 검색 시간을 87.5% 감소시키면서도 2D 검색과 유사한 성능을 달성함으로써, 저차원 데이터에서 학습된 아키텍처가 고차원 의료 영상 작업으로 효과적으로 전이됨을 보여준다.

ABSTRACT

Typically, deep learning architectures are handcrafted for their respective learning problem. As an alternative, neural architecture search (NAS) has been proposed where the architecture's structure is learned in an additional optimization step. For the medical imaging domain, this approach is very promising as there are diverse problems and imaging modalities that require architecture design. However, NAS is very time-consuming and medical learning problems often involve high-dimensional data with high computational requirements. We propose an efficient approach for NAS in the context of medical, image-based deep learning problems by searching for architectures on low-dimensional data which are subsequently transferred to high-dimensional data. For OCT-based layer segmentation, we demonstrate that a search on 1D data reduces search time by 87.5% compared to a search on 2D data while the final 2D models achieve similar performance.

연구 동기 및 목표

• 의료 영상, 특히 3D/4D 데이터에서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• OCT 볼륨과 같은 고차원 의료 영상 데이터의 NAS에서 긴 검색 시간 문제를 극복하기 위해.
• 1D A-scan과 같은 저차원 데이터 표현에서의 아키텍처 검색이, 2D B-scan과 같은 고차원 작업으로 일반화 잘 되는 모델을 도출할 수 있는지 탐색하기 위해.
• 저차원 데이터에서의 NAS가 핵심 아키텍처 구성 요소를 수정하지 않으면서도 전체 차원 검색에 비해 성능을 손상시키지 않고 시간 효율적인 대안이 될 수 있음을 입증하기 위해.

제안 방법

• ENAS 프레임워크를 사용하여 신경망 아키텍처 탐색을 수행하지만, 검색 공간을 U-Net 유사 아키텍처의 내부 모듈 블록 학습에 국한한다.
• 엔코더-디코더 연결, 덮어쓰기 연결(summation을 통한 스킵 커넥션), 다운샘플링/업샘플링 레이어를 포함한 전체 U-Net 아키텍처를 고정한다.
• 각 서브셀당 다섯 가지 연산 중에서 선택할 수 있도록 컨트롤러를 정의한다: 3x3 및 5x5 컨볼루션, 평균 풀링(3x3) 및 최대 풀링(3x3), 식별 변환.
• 모델은 DICE 손실을, 컨트롤러는 DICE 스코어를 보상으로 사용하여 모델과 컨트롤러를 번갈아가며 훈련한다.
• 1D A-scan 데이터에서 NAS를 수행하고, 학습된 아키텍처를 2D B-scan으로 전이하여 최종 평가를 실시한다.
• 1D NAS, 2D NAS, 그리고 ResNet 기반 베이스라인을 통해 성능 및 검색 시간을 비교한다.

실험 결과

연구 질문

• RQ1 1D A-scan 데이터에서의 아키텍처 탐색이 OCT 영상 분할에서 전체 2D B-scan NAS와 유사한 분할 성능을 달성할 수 있는가?
• RQ2 2D 데이터 대비 1D 데이터에서 NAS를 수행할 경우 검색 시간은 어느 정도 감소하는가?
• RQ3 저차원 데이터에서 발견된 아키텍처가 고차원 의료 영상 작업으로 일반화되는 정도는 어떠한가?
• RQ4 저차원 데이터에서의 제안된 NAS 접근법이 ResNet-U-Net과 같은 수작업 기반 베이스라인에 비해 성능 향상을 유지하는가?

주요 결과

• ENAS1D U-Net 1D 모델은 평균 DICE 스코어 0.928 ± 0.09를 기록하여 ResNet U-Net 1D 베이스라인(0.916 ± 0.10)을 초월했다.
• ENAS1D U-Net 2D 모델은 평균 DICE 스코어 0.971 ± 0.04를 기록하여 ResNet U-Net 2D 베이스라인(0.962 ± 0.05)을 뛰어넘었다.
• ENAS2D U-Net 2D 모델은 DICE 스코어 0.973 ± 0.04를 기록하여 2D 검색이 1D 검색보다 略적으로 더 높은 성능을 낸다는 것을 시사했다.
• 1D 데이터(1.5시간)를 사용할 경우 2D 데이터(12시간) 대비 검색 시간이 87.5% 감소했으며, 성능 차이는 미미했다.
• 1D 데이터에서 학습된 아키텍처가 2D 데이터로 효과적으로 전이되어, 전체 2D NAS로 훈련된 모델과 거의 동일한 성능을 달성했다.
• 제안된 방법은 스킵 커넥션이나 U-Net 아키텍처와 같은 핵심 아키텍처 구성 요소를 수정하지 않으면서도 의료 영상 분할을 위한 효율적인 NAS를 가능하게 했다.