[논문 리뷰] CaseNet: Content-Adaptive Scale Interaction Networks for Scene Parsing

Xin Jin, Cuiling Lan외 3명|arXiv (Cornell University)|2019. 04. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 89인용 수 5

한 줄 요약

이 논문은 시나리오 분석을 위한 컨텐츠 적응형 스케일 상호작용 네트워크인 CASINet을 제안한다. 이는 컨텍스트 스케일 상호작용(CSI) 모듈과 스케일 적응(SA) 모듈을 통해 다중 스케일 특징 학습을 향상시킨다. 공간적으로 적응형 필터링과 소프트, 컨텐츠 인식 기반 스케일 선택을 가능하게 하여, Cityscapes(82.75% mIoU), ADE20K(45.61% mIoU), LIP(55.14% mIoU) 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Objects at different spatial positions in an image exhibit different scales. Adaptive receptive fields are expected to capture suitable ranges of context for accurate pixel level semantic prediction. Recently, atrous convolution with different dilation rates has been used to generate features of multi-scales through several branches which are then fused for prediction. However, there is a lack of explicit interaction among the branches of different scales to adaptively make full use of the contexts. In this paper, we propose a Content-Adaptive Scale Interaction Network (CASINet) to exploit the multi-scale features for scene parsing. We build CASINet based on the classic Atrous Spatial Pyramid Pooling (ASPP) module, followed by a proposed contextual scale interaction (CSI) module, and a scale adaptation (SA) module. Specifically, in the CSI module, for each spatial position of some scale, instead of being limited by a fixed set of convolutional filters that are shared across different spatial positions for feature learning, we promote the adaptivity of the convolutional filters to spatial positions. We achieve this by the context interaction among the features of different scales. The SA module explicitly and softly selects the suitable scale for each spatial position and each channel. Ablation studies demonstrate the effectiveness of the proposed modules. We achieve state-of-the-art performance on three scene parsing benchmarks Cityscapes, ADE20K and LIP.

연구 동기 및 목표

• 시나리오 분석에서 스케일 변동을 다루는 데 있어 고정된 수신 영역을 가진 CNN의 한계를 해결한다.
• 기존의 다중 스케일 네트워크에서 고정된 컨볼루션 필터와 정적 특징 융합의 경직됨을 극복한다.
• 크로스 스케일 컨텍스트와 공간-채널 적응성을 활용하여 컨텐츠 적응형 특징 정제 및 스케일 선택을 가능하게 한다.
• 스케일 상호작용과 적응형 융합을 명시적으로 모델링하여 다양한 벤치마크에서 의미 분할 정확도를 향상시킨다.
• 기존 아키텍처의 무거운 변경 없이도 표준 ASPP를 향상시키는 경량이면서도 효과적인 모듈을 개발한다.

제안 방법

• 다양한 비율을 가진 확장 컨볼루션을 사용하여 다중 스케일 특징을 생성하기 위해 Atrous Spatial Pyramid Pooling(ASPP) 모듈을 기반으로 한다.
• 다양한 스케일의 특징을 비국소 연산을 통해 스케일 간 상호작용을 계산함으로써 적응형 필터 응답을 계산하는 컨텍스트 스케일 상호작용(CSI) 모듈을 도입한다.
• CSI에서 공간적 위치와 콘텐츠 상관관계에 기반하여 동적으로 다양한 스케일의 특징을 결합하기 위해 학습 가능한 어텐션 가중치를 사용한다.
• 각 특징 맵 위치에 대해 가장 적합한 스케일을 공간적 및 채널 기반으로 소프트하게 선택하는 스케일 적응(SA) 모듈을 제안한다.
• SA에서 다중 스케일 특징을 어텐션 가중치를 활용해 학습 가능한 융합 메커니즘을 적용하여 맥락적으로 적절한 표현을 생성한다.
• ASPP 이후 CSI 및 SA 모듈을 통합하고, 최종적으로 픽셀 단위의 의미 예측을 위해 최종 컨볼루션 및 소프트맥스 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 지역적 컨텍스트와 크로스 스케일 상관관계를 기반으로 다중 스케일 특징을 적응형으로 정제하여 특징 표현을 향상시킬 수 있는가?
• RQ2 고정된 융합 방식이 아닌, 각 공간적 위치와 채널에 대해 최적의 스케일을 동적으로 선택할 수 있는가?
• RQ3 스케일 간의 컨텐츠 적응형 상호작용이 고정되거나 비적응형 융합 대비 시나리오 분석 벤치마크에서 더 나은 성능을 내는가?
• RQ4 제안된 모듈이 스케일 분포와 객체 복잡도가 다양한 다양한 데이터셋에서 성능 향상에 기여하는가?
• RQ5 CSI 및 SA 모듈의 통합이 음영 또는 스케일 겹침과 같은 어려운 상황에서 모델의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• CASINet는 Cityscapes 검증 세트에서 82.75% mIoU를 달성하여 이전 최신 기술 수준(SOTA) 방법을 초월한다.
• ADE20K 검증 세트에서 CASINet는 45.61% mIoU를 기록하여 베이스라인(43.67%) 대비 1.94% 향상되었고, 이전 SOTA 대비 0.16% 향상되었다.
• LIP 데이터셋에서 CASINet는 55.14% mIoU를 달성하여 베이스라인 대비 3.73% 향상되었고, 이전 SOTA(53.10% with CE2P) 대비 2.01% 향상되었다.
• 절단 실험 결과, CSI 및 SA 모듈이 성능 향상에 기여하며, CSI는 특징 정제를 향상시키고 SA는 효과적인 스케일 선택을 가능하게 한다.
• ImageNet 전학습 없이도 최신 기술 수준 성능를 달성하여, 제안된 모듈의 독립적인 효과를 입증한다.
• 강력한 성능에도 불구하고, 음영이나 겹치는 객체를 다룰 땐 스케일 상호작용이 카테고리 경계에서 분류 능력을 저하시킬 수 있음을 보여주며 한계를 드러낸다.