[논문 리뷰] Semantic Correlation Promoted Shape-Variant Context for Segmentation

Henghui Ding, Xudong Jiang외 3명|arXiv (Cornell University)|2019. 09. 05.

Visual Attention and Saliency Detection참고 문헌 73인용 수 11

한 줄 요약

이 논문은 쌍체 컨볼루션을 사용하여 픽셀 간의 의미적 상관관계를 학습함으로써 형태 및 척도가 변하는 맥락을 집약하는 방법을 제안한다. 이는 동적이고 의미적으로 의존적인 수신 영역을 생성하며, 고정된 공간적 창이 아닌 의미적으로 관련된 영역에서 맥락을 집중적으로 고려함으로써 특징의 구분력을 향상시킨다. 추가 구성 요소 없이도 여섯 가지 벤치마크 데이터셋에서 새로운 최고 성능을 달성한다.

ABSTRACT

Context is essential for semantic segmentation. Due to the diverse shapes of objects and their complex layout in various scene images, the spatial scales and shapes of contexts for different objects have very large variation. It is thus ineffective or inefficient to aggregate various context information from a predefined fixed region. In this work, we propose to generate a scale- and shape-variant semantic mask for each pixel to confine its contextual region. To this end, we first propose a novel paired convolution to infer the semantic correlation of the pair and based on that to generate a shape mask. Using the inferred spatial scope of the contextual region, we propose a shape-variant convolution, of which the receptive field is controlled by the shape mask that varies with the appearance of input. In this way, the proposed network aggregates the context information of a pixel from its semantic-correlated region instead of a predefined fixed region. Furthermore, this work also proposes a labeling denoising model to reduce wrong predictions caused by the noisy low-level features. Without bells and whistles, the proposed segmentation network achieves new state-of-the-arts consistently on the six public segmentation datasets.

연구 동기 및 목표

• 고정된 크기와 공간적으로 정의된 맥락 영역의 한계를 해결하기 위해, 다양한 객체의 형태와 레이아웃에 적응하지 못하는 기존의 세분화 방법에 대비한다.
• 모든 공간적으로 인접한 픽셀이 아닌 의미적으로 관련된 영역에서만 맥락을 집약함으로써 특징의 구분력을 향상시키기 위해 의미적 관련 영역에서만 맥락을 집약한다.
• 특징 융합 과정에서 고수준 특징을 활용하여 저수준 특징의 노이즈 유발 오류를 줄이기 위해 노이즈 제거를 수행한다.
• 단일 네트워크 레이어에서 객체의 형태와 척도에 따라 변화하는 학습 가능한 적응형 맥락 집약 메커니즘을 개발한다.

제안 방법

• 질의 픽셀과 다른 픽셀 간의 특징 표현을 기반으로 의미적 상관관계를 계산하는 쌍체 컨볼루션을 제안한다.
• 쌍체 컨볼루션의 출력에 가우시안 매핑을 적용하여 각 픽셀에 대해 의미적으로 관련된 영역의 공간적 범위를 나타내는 형태 마스크를 생성한다.
• 학습된 형태 마스크를 사용하여 수신 영역의 크기와 형태를 동적으로 제어하는 형태 변화 컨볼루션을 도입하여 의미적으로 관련된 영역에서 맥락을 집약한다.
• 강력한 고수준 특징을 사용하여 융합 이전에 저수준 특징 예측의 노이즈를 억제하는 라벨링 노이즈 제거 모델을 설계한다.
• 병렬 또는 스태킹된 브랜치 없이도 단일 네트워크 아키텍처를 사용하여 다중 척도 및 다중 형태 맥락을 암묵적으로 처리한다.
• 의미적 상관관계, 맥락 집약, 노이즈 제거를 동시에 최적화하는 엔드 투 엔드 방식으로 전체 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 의미적 상관관계를 효과적으로 모델링하여 세분화에서 동적 맥락 집약을 이끌 수 있는가?
• RQ2 고정 크기 또는 전역 맥락과 비교할 때 형태 및 척도가 변하는 맥락 집약은 특징 표현을 어떻게 향상시키는가?
• RQ3 적응형 수신 영역을 가진 단일 레이어 네트워크가 다중 브랜치 또는 스태킹 아키텍처를 초월할 수 있는가?
• RQ4 고수준 특징을 사용하여 저수준 특징을 얼마나 효과적으로 노이즈 제거하고 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법은 다양한 객체의 형태, 척도, 애너테이션 품질을 가진 다양한 데이터셋에 일반화되는가?

주요 결과

• 제안된 SVCNet은 PASCAL-Context 데이터셋에서 기존 방법보다 2.0 포인트 높은 53.2의 평균 IoU를 달성하여 새로운 최고 성능을 기록했다.
• Cityscapes에서 모델은 81.0의 평균 IoU를 기록했으며, 이는 이전 최고 성능인 PSANet(80.1)을 0.9 포인트 초월한 성과이다.
• COCO-Stuff에서 모델은 57.8%의 평균 IoU를 기록했으며, 이는 이전 방법에 비해 뚜렷한 향상으로 강력한 일반화 능력을 보여준다.
• CamVid에서 모델은 73.9%의 평균 IoU를 기록했으며, 이는 이전 최고 성능인 RefineNet을 5.3 포인트 초월한 결과이다.
• PASCAL-Person-Part에서 모델은 75.4%의 평균 IoU를 기록했으며, 이는 소형 및 세밀한 분류가 어려운 데이터셋에서도 뛰어난 성능을 보임을 시사한다.
• 제거 분석 결과 의미적 상관관계 모듈과 노이즈 제거 메커니즘이 성능 향상에 크게 기여하는 것으로 확인되었다.