[논문 리뷰] Convolutional Random Walk Networks for Semantic Image Segmentation

Gedas Bertasius, Lorenzo Torresani외 2명|arXiv (Cornell University)|2016. 05. 24.

Advanced Neural Network Applications참고 문헌 22인용 수 14

한 줄 요약

이 논문은 완전 컨볼루션 네트워크(FCNs)에 새로운 무작위 보행 레이어를 통합하여 의미적 이미지 세그멘테이션을 향상시키는 경량이며 엔드 투 엔드 학습 가능한 아키텍처인 컨볼루션 무작위 보행 네트워크(RWNs)를 제안한다. 이 방법은 행렬 곱셈을 통해 픽셀 간 유사도와 세그멘테이션을 공동 최적화하여 경계 국소화와 공간 일관성을 향상시키며, 추가로 131개의 파rameter만 사용함으로써 FCNs와 밀도 높은 CRF 후처리 방법보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Most current semantic segmentation methods rely on fully convolutional networks (FCNs). However, their use of large receptive fields and many pooling layers cause low spatial resolution inside the deep layers. This leads to predictions with poor localization around the boundaries. Prior work has attempted to address this issue by post-processing predictions with CRFs or MRFs. But such models often fail to capture semantic relationships between objects, which causes spatially disjoint predictions. To overcome these problems, recent methods integrated CRFs or MRFs into an FCN framework. The downside of these new models is that they have much higher complexity than traditional FCNs, which renders training and testing more challenging. In this work we introduce a simple, yet effective Convolutional Random Walk Network (RWN) that addresses the issues of poor boundary localization and spatially fragmented predictions with very little increase in model complexity. Our proposed RWN jointly optimizes the objectives of pixelwise affinity and semantic segmentation. It combines these two objectives via a novel random walk layer that enforces consistent spatial grouping in the deep layers of the network. Our RWN is implemented using standard convolution and matrix multiplication. This allows an easy integration into existing FCN frameworks and it enables end-to-end training of the whole network via standard back-propagation. Our implementation of RWN requires just $131$ additional parameters compared to the traditional FCNs, and yet it consistently produces an improvement over the FCNs on semantic segmentation and scene labeling.

연구 동기 및 목표

• 큰 수신장과 풀링 레이어로 인해 발생하는 완전 컨볼루션 네트워크(FCNs)의 경계 국소화 부족 문제를 해결하기 위해.
• 객체 간 의미적 관계를 포착하지 못하는 후처리 CRF로 인해 발생하는 공간적으로 분리된 예측 문제를 극복하기 위해.
• 모델 복잡도를 크게 증가시키지 않거나 복잡한 학습 절차를 요구하지 않고도 세그멘테이션 정확도를 향상시키는 방법을 개발하기 위해.
• 기존 FCN 프레임워크에 미분 가능한 무작위 보행 레이어를 통합하여 표준 역전파를 통해 엔드 투 엔드 학습이 가능하도록 하기 위해.

제안 방법

• RWN은 의미적 세그멘테이션을 위한 하나의 브런치와 픽셀 수준의 유사도를 예측하기 위한 다른 하나의 브런치로 구성된 이중 브런치 아키텍처를 도입한다.
• 새로운 미분 가능한 무작위 보행 레이어는 행렬 곱셈을 사용하여 깊은 레이어에서 공간 일관성을 강제함으로써 두 브런치를 융합한다.
• 무작위 보행 레이어는 학습된 유사도 기반으로 세그멘테이션 신뢰도를 픽셀 간에 전파하여 예측을 반복적으로 개선한다.
• 전체 네트워크는 표준 역전파를 통해 엔드 투 엔드 학습되며, 무작위 보행 레이어는 표준 컨볼루션과 행렬 연산을 사용하여 구현된다.
• 이 방법은 오직 131개의 추가 학습 가능한 파rameter만 필요로 하여 표준 FCNs와 거의 동일한 경량성을 유지한다.
• 조정 가능한 반지름 크기를 통해 다양한 공간 관계에 적응할 수 있는 유연한 그래프 구조를 지원한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않고도 FCN에 미분 가능한 무작위 보행 레이어를 효과적으로 통합하여 경계 국소화를 향상시킬 수 있는가?
• RQ2 픽셀 간 유사도와 세그멘테이션 손실을 공동 최적화할 경우 공간 일관성과 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 RWN은 복잡도 증가 없이 효율적이고 엔드 투 엔드 학습 가능한 성능을 보이며, FCN 기준선과 밀도 높은 CRF 후처리 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 수렴과 최고 성능에 도달하기 위한 최적의 무작위 보행 반복 횟수는 얼마인가?
• RQ5 유사도 그래프의 반지름 크기가 세그멘테이션 정확도와 모델의 유연성에 어떤 영향을 미치는가?

주요 결과

• RWN은 스탠포드 배경 데이터셋에서 DeepLab-largeFOV 기준선 대비 2.57% 향상된 mIOU를 기록했고, Sift-Flow 데이터셋에서는 2.54% 향상되었다.
• 단일 무작위 보행 반복과 R=40 조건에서 RWN은 Pascal SBD 데이터셋에서 82.2% IOU를 달성하여 밀도 높은 CRF 후처리를 적용한 DeepLab_v2(81.9% IOU)를 능가했으며, 100배 이상 빠른 속도를 기록했다.
• 무작위 보행 단계가 많아질수록 세그멘테이션 정확도가 점진적으로 향상되고, 수렴 시점에 최고 성능에 도달함을 확인하여 반복적 개선의 효과를 입증했다.
• R=5로 설정하고 수렴까지 실행한 경우(77.9% IOU)는 R=40와 한 번의 단계만 수행한 경우(75.5% IOU)보다 略적으로 더 높은 정확도를 기록했지만, 둘 다 반지름 선택에 대해 뛰어난 내성성을 보였다.
• 모델는 표준 FCNs와 동일한 79MB의 컴act한 크기를 유지하며, 후처리나 복잡한 학습 체계가 필요로 하지 않는다.
• 제거 실험 결과, 무작위 보행 레이어가 예측을 효과적으로 개선하여 더 선명하고 정확도 높은 객체 경계를 만들어내는 것으로 확인되었다.