[논문 리뷰] Learning Affinity via Spatial Propagation Networks

Sifei Liu, Shalini De Mello외 4명|arXiv (Cornell University)|2017. 10. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 26

한 줄 요약

이 논문은 공간적 변형 선형 변환을 깊은 CNN을 통해 모델링함으로써 시각 작업을 위한 조밀한 유사도 행렬을 학습하는 가분가능하고 데이터 기반의 프레임워크인 공간 전파 네트워크(SPN)를 제안한다. 이 방법은 PASCAL VOC에서 조밀한 CRF 기반 개선 기법을 능가하며, ResNet-101 기반으로는 평균 IoU 79.76, 테스트 분할에서는 80.22를 기록하여 경계 정밀도 향상과 기초 모델 간 일반화 능력 향상이 뛰어나다는 것을 입증한다.

ABSTRACT

In this paper, we propose spatial propagation networks for learning the affinity matrix for vision tasks. We show that by constructing a row/column linear propagation model, the spatially varying transformation matrix exactly constitutes an affinity matrix that models dense, global pairwise relationships of an image. Specifically, we develop a three-way connection for the linear propagation model, which (a) formulates a sparse transformation matrix, where all elements can be the output from a deep CNN, but (b) results in a dense affinity matrix that effectively models any task-specific pairwise similarity matrix. Instead of designing the similarity kernels according to image features of two points, we can directly output all the similarities in a purely data-driven manner. The spatial propagation network is a generic framework that can be applied to many affinity-related tasks, including but not limited to image matting, segmentation and colorization, to name a few. Essentially, the model can learn semantically-aware affinity values for high-level vision tasks due to the powerful learning capability of the deep neural network classifier. We validate the framework on the task of refinement for image segmentation boundaries. Experiments on the HELEN face parsing and PASCAL VOC-2012 semantic segmentation tasks show that the spatial propagation network provides a general, effective and efficient solution for generating high-quality segmentation results.

연구 동기 및 목표

• 시각 작업에서 고수준의 의미적 관계를 모델링하기 위해 수작업으로 설계된 유사도 커널의 한계를 해결하기 위해.
• 반복 최적화나 사전 정의된 메트릭스 없이 데이터로부터 직접 유사도 행렬을 학습하는 일반화된 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 가분가능한 공간 전파 메커니즘을 통해 작업에 특화된 의미 인식 유사도 행렬을 학습함으로써 분할 경계 품질을 향상시키기 위해.
• 다양한 기초 분할 모델 간 일반화가 가능한 학습 가능한 효율적인 대안으로 후처리 모듈(예: 조밀한 CRF)을 대체하기 위해.

제안 방법

• 선형 전파 모델에서의 삼중 연결을 사용하여 깊은 CNN의 희소 출력에서 조밀한 유사도 행렬을 생성함으로써 완전 연결을 피함.
• 깊은 CNN이 공간적으로 변형되는 전이 행렬의 매개변수를 예측하고, 이를 선형 전파를 통해 조밀한 유사도 행렬로 계산함.
• 공간 전파 모듈은 시간 복잡도가 픽셀 수에 선형적인 반복적 선형 변환을 특징으로 하여 효율적인 추론을 가능하게 함.
• 모든 구성 요소가 가분가능하며 확률적 경사 하강법을 통해 공동으로 학습되며, 유사도 행렬은 최종 작업 손실에 직접적으로 지도됨.
• 예측된 유사도 행렬을 사용해 굵은 예측을 개선함으로써 어떤 분할 모델과도 통합 가능함.
• 계층적 특징을 VGG와 ResNet에서 추출하여 유사도 학습에서 고수준 의미 이해를 가능하게 함.

실험 결과

연구 질문

• RQ1 학습 가능한 데이터 기반의 유사도 행렬이 의미 분할에서 수작업으로 설계된 유사도 커널을 능가할 수 있는가?
• RQ2 공간적으로 변형되는 선형 전파 메커니즘이 이미지 내 전역적인 조밀한 쌍별 관계를 효과적으로 모델링할 수 있는가?
• RQ3 제안된 프레임워크는 미세조정 없이 다양한 기초 분할 모델 간에 일반화 가능한가?
• RQ4 삼중 연결이 완전 연결 출력 대비 성능 유지와 함께 파라미터 복잡도를 어떻게 감소시키는가?
• RQ5 SPN 기반 개선 기법이 벤치마크 데이터셋에서 정확도와 효율성 측면에서 모두 조밀한 CRF를 능가하는가?

주요 결과

• 삼중 SPN은 Deeplab ResNet-101 기반 모델을 사용해 PASCAL VOC-2012 테스트 세트에서 평균 IoU 79.76를 기록하며, 조밀한 CRF 기반 베이스라인(79.7)을 능가함.
• 동일한 테스트 분할에서 SPN로 개선된 모델은 평균 IoU 80.22를 기록하여 기초 모델 및 CRF 기반 개선 기법보다 일관된 성능 향상을 보임.
• 삼중 연결 방식은 기초 Deeplab ResNet-101 모델 대비 평균 정확도를 3.33%p 향상시켜, 보정 없이 84.16에서 보정 후 86.09로 향상됨.
• 삼중 연결 방식은 일중 연결 방식보다 더 우수한 일반화 능력을 보이며, 복잡한 분할 맵을 개선하지 못하는 일중 연결 방식에 비해 복잡한 데이터 분포를 더 잘 포착함을 시사함.
• SPN은 확장된 컨볼루션 기반 모델에서 성능을 크게 향상시키며, '프론트 엔드' 모델에 적용했을 때 평균 IoU가 5.52 포인트 향상되어 69.75에서 75.28로 상승함.
• 시각화 결과는 SPN이 특히 객체 세부 정보 및 경계 영역에서 더 선명한 경계와 더 나은 의미적 일관성을 생성함을 보여주며, 그림 4의 빨간 사각형 박스 영역에서 뚜렷하게 드러남.