[논문 리뷰] Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation

Xiaowei Xu, Qing Lu외 5명|arXiv (Cornell University)|2018. 03. 13.

AI in cancer detection참고 문헌 19인용 수 39

한 줄 요약

이 논문은 모델 압축이 아닌 오버피팅을 줄이고 정확도를 향상시키기 위해 생물의학 영상 분할을 위한 완전 컨volution 네트워크(FCNs)에 양자화를 새로운 응용으로 제안한다. 최신 프레임워크의 제안적 애너테이션 및 네트워크 학습 단계에 모두 양자화를 통합함으로써, MICCAI Gland 데이터셋에서 최대 1% 높은 분할 성능를 달성하면서 메모리 사용량을 최대 6.4배까지 줄였다.

ABSTRACT

With pervasive applications of medical imaging in health-care, biomedical image segmentation plays a central role in quantitative analysis, clinical diagno- sis, and medical intervention. Since manual anno- tation su ers limited reproducibility, arduous e orts, and excessive time, automatic segmentation is desired to process increasingly larger scale histopathological data. Recently, deep neural networks (DNNs), par- ticularly fully convolutional networks (FCNs), have been widely applied to biomedical image segmenta- tion, attaining much improved performance. At the same time, quantization of DNNs has become an ac- tive research topic, which aims to represent weights with less memory (precision) to considerably reduce memory and computation requirements of DNNs while maintaining acceptable accuracy. In this paper, we apply quantization techniques to FCNs for accurate biomedical image segmentation. Unlike existing litera- ture on quantization which primarily targets memory and computation complexity reduction, we apply quan- tization as a method to reduce over tting in FCNs for better accuracy. Speci cally, we focus on a state-of- the-art segmentation framework, suggestive annotation [22], which judiciously extracts representative annota- tion samples from the original training dataset, obtain- ing an e ective small-sized balanced training dataset. We develop two new quantization processes for this framework: (1) suggestive annotation with quantiza- tion for highly representative training samples, and (2) network training with quantization for high accuracy. Extensive experiments on the MICCAI Gland dataset show that both quantization processes can improve the segmentation performance, and our proposed method exceeds the current state-of-the-art performance by up to 1%. In addition, our method has a reduction of up to 6.4x on memory usage.

연구 동기 및 목표

• 모델 압축이 아닌 오버피팅을 줄이기 위한 정규화 도구로 양자화를 활용하여 완전 컨볼루션 네트워크(FCNs)에서 생물의학 영상 분할의 정확도를 향상시키는 것.
• 최신 제안적 애너테이션 프레임워크를 FCNs에 적응시키기 위해 샘플 선택 및 네트워크 학습 단계에 모두 양자화를 통합하는 것.
• 저자료, 고변동성 생물의학 분할 작업에서 양자화가 악성 구조에 특히 효과적으로 성능 향상을 줄 수 있는지 평가하는 것.
• 정확도를 훼손하지 않고도 의미 있는 메모리 절감을 달성하여 자원 제약이 있는 시스템에서도 효율적인 구현을 가능하게 하는 것.

제안 방법

• 활성 학습 기반의 샘플 선택 과정에서 양자화를 적용하여 높이 대표성 있는 훈련 샘플을 생성하는 '양자화를 통한 제안적 애너테이션'을 도입한다.
• 학습 과정을 정규화하기 위해 '양자화를 통한 네트워크 학습'을 적용하여 최적화 중에 가중치 양자화를 통해 FCNs의 오버피팅을 줄인다.
• 가중치 양자화를 위해 INQ(반복적 네트워크 양자화) 방법을 활용하여 정밀도를 전체 정밀도에서 5~7비트로 감소시킨다.
• 비대칭적이지 않은 대칭적이고 비균일한 양자화 방식을 사용하여 파ameter 분포를 유지하고 정확도 손실를 최소화한다.
• 특히 고변동성 환경에서의 강건성과 성능 향상을 위해 5개의 병렬 FCN을 사용하는 앙상블 기반 학습을 구현한다.
• 제안적 애너테이션 및 네트워크 학습의 모든 구성에서 양자화 및 비양자화 변형을 비교하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 FCNs의 가중치를 양자화하는 것이 오버피팅을 줄이고 생물의학 영상 분석에서 분할 정확도를 향상시키는 정규화 도구로 기능할 수 있는가?
• RQ2 대표적인 샘플이 선택되는 제안적 애너테이션 단계에서 양자화를 적용하면 표준 샘플링보다 더 나은 일반화 성능를 얻을 수 있는가?
• RQ3 네트워크 학습 단계에서의 양자화가 성능에 미치는 영향은 무엇이며, 특히 전체 정밀도 가중치를 사용한 표준 학습과 비교해 볼 때 어떻게 다른가?
• RQ4 생물의학 분할을 위한 FCNs에서 정량화 비트 폭과 성능 향상 사이의 최적 균형은 무엇인가?
• RQ5 양자화가 정확도 향상과 메모리 사용량 감소를 동시에 달성할 수 있는가?

주요 결과

• 제안된 방법은 MICCAI Gland 데이터셋에서 기존 최고 성능를 최대 1% 높은 분할 정확도로 초월하였으며, 비악성(파트 A) 및 악성(파트 B) 환자 모두에서 뚜렷한 향상이 있었다.
• 양자화를 통한 제안적 애너테이션은 구성 전반에서 평균 0.9% 향상된 성능를 기록하였으며, 단일 FCN을 사용하는 모델에서 특히 유의미한 이점이 있었다.
• 5개의 병렬 FCN을 사용할 경우, 양자화를 통한 네트워크 학습에서 뚜렷한 성능 향상이 나타났으며, 이는 양자화의 정규화 효과가 앙상블 환경에서 더 효과적임을 시사한다.
• 5비트 양자화를 사용할 경우 최대 6.4배의 메모리 사용량 감소를 달성했으며, 부동소수점 활성화로 인해 런타임에 미치는 영향은 최소한이었다.
• 5~7비트의 양자화 수준에서 정확도의 역전 U자형 경향이 관찰되어 최적의 양자화 수준이 존재함을 확인하였으며, 7비트 INQ가 가장 높은 성능를 기록했다.
• 결과는 일부 구성에서 양자화가 정확도를 향상시킬 수 있음을 보여주며, 일반적으로 양자화는 정확도를 떨어뜨린다는 공통된 가정과는 정반대이며, 정규화 잠재력이 있음을 강조한다.