[논문 리뷰] A Regularized Convolutional Neural Network for Semantic Image Segmentation

Fan Jia, Jun Liu외 1명|arXiv (Cornell University)|2019. 06. 28.

Advanced Neural Network Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 정규화된 소프트맥스 레이어를 제안하며, 세분화된 이미지 분할을 위한 합성곱 신경망(CNN)에 총 변동(TV) 공간 정규화를 통합한다. 소프트맥스 활성화를 수정하여 TV 정규화를 포함시킴으로써, 가장자리 유지 및 노이즈에 대한 강건성을 향상시켜, WBC, CamVid, SUN-RGBD 데이터셋에서 표준 CNN인 Unet과 Segnet보다 유의하게 뛰어난 성능을 보이며, 특히 노이즈가 있는 조건에서 두각을 나타낸다.

ABSTRACT

Convolutional neural networks (CNNs) show outstanding performance in many image processing problems, such as image recognition, object detection and image segmentation. Semantic segmentation is a very challenging task that requires recognizing, understanding what's in the image in pixel level. Though the state of the art has been greatly improved by CNNs, there is no explicit connections between prediction of neighbouring pixels. That is, spatial regularity of the segmented objects is still a problem for CNNs. In this paper, we propose a method to add spatial regularization to the segmented objects. In our method, the spatial regularization such as total variation (TV) can be easily integrated into CNN network. It can help CNN find a better local optimum and make the segmentation results more robust to noise. We apply our proposed method to Unet and Segnet, which are well established CNNs for image segmentation, and test them on WBC, CamVid and SUN-RGBD datasets, respectively. The results show that the regularized networks not only could provide better segmentation results with regularization effect than the original ones but also have certain robustness to noise.

연구 동기 및 목표

• 의미 분할을 위한 표준 CNN에서 명시적인 공간 정규화가 부족하여 예측 결과가 조각나거나 비정상적인 경향이 있음을 해결한다.
• 네트워크 아키텍처에 직접 공간 정규화를 통합하여 분할 모델의 노이즈에 대한 강건성을 향상시킨다.
• 이웃 픽셀 간의 매끄러움을 강제하여 예측 결과의 구조 일관성(예: 객체 경계)을 유지한다.
• 기존의 변분 정규화(예: TV)를 딥러닝 프레임워크에 큰 아키텍처 변경 없이 원활하게 통합할 수 있도록 한다.
• 다양한 데이터셋, 특히 생물의학적(WBC), 도시 환경(CamVid), 실내 환경(SUN-RGBD)에서의 효과를 입증한다.

제안 방법

• 백프로파게이션 동안 손실 함수에 총 변동(TV) 정규화를 통합한 정규화된 소프트맥스 레이어를 제안한다.
• 기울기 계산을 수정하여 TV 정규화 항을 포함시켜, 네트워크가 공간적으로 매끄러운 예측을 학습하면서도 엔드 투 엔드 미분 가능성을 유지한다.
• 기존 CNN 아키텍처인 Unet과 Segnet에 정규화된 소프트맥스 레이어를 적용하며, 인코더-디코더 구조나 다른 레이어를 변경하지 않는다.
• TV-정규화된 소프트맥스에 대해 효율적인 기울기 계산을 위해 프록시멀 기울기 방법을 사용하여 계산 오버헤드를 최소화한다.
• 고정된 학습률과 배치 크기를 사용하여 표준 최적화 기법으로 수정된 네트워크(RUnet, RSegnet)를 훈련하며, 전이 학습을 위해 사전 훈련된 ImageNet 가중치를 유지한다.
• 청결한 및 노이즈가 있는 테스트 데이터에서 mIoU, 정확도, 재구성 오차(RE)를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CNN의 소프트맥스 활성화에 총 변동(TV) 정규화를 통합하면 의미 분할 예측의 공간 일관성이 향상되는가?
• RQ2 제안된 정규화는 특히 노이즈가 많거나 저품질의 입력 데이터에서 이미지 분할에 대한 강건성을 향상시키는가?
• RQ3 RUnet과 RSegnet의 성능은 다양한 복잡성과 노이즈 수준을 가진 다양한 데이터셋에서 원본 대비 어떻게 비교되는가?
• RQ4 제안된 방법은 아키텍처 변경을 최소화하고 재학습 없이도 기존 CNN 아키텍처에 적용 가능한가?
• RQ5 정규화는 복잡한 시나리오에서 미세한 구조를 가진 복잡한 환경에서 객체 경계의 과도한 매끄러움을 방지하는가?

주요 결과

• RUnet은 청결한 SUN-RGBD 데이터셋에서 27.40 mIoU를 기록하여 표준 Unet(26.50 mIoU)을 초월하며 0.9% 향상된 성능을 보였다.
• σ=0.09의 가우시안 노이즈가 첨가된 노이즈 있는 SUN-RGBD 데이터에서 RSegnet2는 21.90 mIoU를 기록했고, Segnet2의 21.12보다 높은 강건성을 확보했다.
• 1%의 소트앤페퍼 노이즈가 있는 조건에서 RSegnet2는 24.42 mIoU를 기록했고, Segnet2의 23.36을 능가했다.
• RSegnet2의 재구성 오차(RE)는 청결한 데이터에서 2.31, 고노이즈 데이터에서 3.39였으며, 각각 Segnet2의 4.84와 5.40보다 유의미하게 낮았다.
• RSegnet는 CamVid에서 먼 기둥과 같은 미세한 구조를 유지했고, Segnet에 후처리로 TV를 적용한 경우 과도하게 매끄럽게 되어 과도한 매끄러움 현상이 발생했다. 이는 네트워크 내부 정규화의 우수성을 보여준다.
• WBC 데이터셋에서 RUnet은 노이즈 조건에서도 높은 분할 품질을 유지했고, 표준 Unet은 성능이 급격히 악화되었다. 이는 제안된 방법의 강건성을 확인한다.