[논문 리뷰] Centralized Information Interaction for Salient Object Detection

Jiangjiang Liu, Zhiang Liu외 1명|arXiv (Cornell University)|2020. 12. 21.

Visual Attention and Saliency Detection참고 문헌 73인용 수 4

한 줄 요약

이 논문은 공간 보간을 피하기 위해 공유된 파rameter 효율적인 모듈을 통해 다중 척도 특징을 융합함으로써 두드러진 객체 검출을 향상시키는 중심화된 정보 상호작용(CII) 기법을 제안한다. 상대적 전역 校정(RGC) 모듈을 통합함으로써, 추가 파라미터 약 4%와 감소된 FLOPs로 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The U-shape structure has shown its advantage in salient object detection for efficiently combining multi-scale features. However, most existing U-shape based methods focused on improving the bottom-up and top-down pathways while ignoring the connections between them. This paper shows that by centralizing these connections, we can achieve the cross-scale information interaction among them, hence obtaining semantically stronger and positionally more precise features. To inspire the potential of the newly proposed strategy, we further design a relative global calibration module that can simultaneously process multi-scale inputs without spatial interpolation. Benefiting from the above strategy and module, our proposed approach can aggregate features more effectively while introducing only a few additional parameters. Our approach can cooperate with various existing U-shape-based salient object detection methods by substituting the connections between the bottom-up and top-down pathways. Experimental results demonstrate that our proposed approach performs favorably against the previous state-of-the-arts on five widely used benchmarks with less computational complexity. The source code will be publicly available.

연구 동기 및 목표

• 하향식 및 상향식 경로 간 직접적이고 비중앙화된 연결으로 인해 기존 U-형 네트워크가 다중 척도 특징 상호작용에서 겪는 한계를 해결하기 위해.
• 다중 척도 특징 융합 과정에서 공간 보간으로 인한 공간 정보의 열화 문제를 해결하기 위해.
• 공간 보간 없이도 스케일 간 전역적 맥락 인식 기능 상호작용을 가능하게 하는 파라미터 효율적이고 엔드 투 엔드 학습 가능한 모듈을 설계하기 위해.
• 중앙화된 특징 상호작용이 두드러진 객체 검출에서 의미적 강도와 공간 정밀도를 크게 향상시킨다는 것을 입증하기 위해.
• 백본 또는 경로 설계를 수정하지 않고도 기존의 U-형 기반 두드러진 객체 검출 모델에 즉시 통합 가능한 플러그 앤 플레이 기능을 제공하기 위해.

제안 방법

• 모든 스테이지의 특징에 대해 적용되는 공유된 다중 척도 처리 모듈로 직접 스킵 커넥션을 대체하는 중심화된 정보 상호작용(CII) 전략을 도입한다.
• 공유된 모듈을 통해 다중 척도 특징를 처리함으로써, 필터에 직접적으로 다중 척도 정보를 인코딩함으로써 공간 보간이 필요 없도록 한다.
• 다른 척도의 특징 간 상대적 관계를 모델링하여 척도별 전역 맥락을 캡처하는 상대적 전역 校정(RGC) 모듈을 제안한다.
• 공간 상향 또는 하향 조정 없이 다중 척도 입력에서 작동하도록 RGC 모듈을 설계하여 정확한 공간 위치를 유지한다.
• 최소한의 추가 파라미터와 FLOPs로 전체 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 경로 간 스킵 커넥션만 교체함으로써 어떤 U-형 기반 두드러운 객체 검출 모델과도 탄력적으로 통합 가능하도록 한다.

실험 결과

연구 질문

• RQ1 표준 U-형 스킵 커넥션을 초월해 중심화된 다중 척도 특징 상호작용이 두드러진 객체 검출의 표현 품질을 향상시킬 수 있는가?
• RQ2 다중 척도 특징 융합에서 공간 보간을 피할 경우 공간 세부 정보의 보존과 검출 정확도 향상에 기여하는가?
• RQ3 공간 변환 없이도 공유된 다중 척도 모듈이 다양한 수신장에서 전역 맥락을 효과적으로 캡처할 수 있는가?
• RQ4 기존의 어텐션 또는 풀링 메커니즘과 비교해 제안된 RGC 모듈이 척도 상대 전역 맥락을 모델링하는 데 얼마나 효과적인가?
• RQ5 CII와 RGC 모듈이 다양한 백본 아키텍처와 U-형 검출 프레임워크에 얼마나 일반화 가능한가?

주요 결과

• 제안된 방법은 PASCAL-S, HKU-IS, DUTS-TE 등 널리 사용되는 다섯 가지 두드러진 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• ResNet-50 기반으로 DUTS-TE에서 F-측정치 0.950을 기록하여 이전 최고 성능 기록인 ITSD(0.947)를 상회하며 추가 파라미터의 67%만으로도 달성한다.
• ResNet-18 기반 버전은 대부분의 ResNet-50 기반 기존 방법보다 F-측정치와 평균 F-스코어에서 뛰어난 성능을 보이며 뛰어난 파라미터 효율성을 입증한다.
• ResNet-50 대비 약 0.97M(4.1%)의 추가 파라미터와 4.74G FLOPs의 추가 계산량을 유발하며, 이는 이전 최고 기술 수준 방법들보다 크게 낮은 수준이다.
• 시각적 비교 결과, 특히 작은 크기나 복잡한 형상의 객체에 대해 더 완전하고 정밀한 색출 맵을 생성함을 확인하였으며, 가장자리 특화 학습 없이도 성능 향상을 보였다.
• 제거 실험 결과, CII와 RGC 모두 성능 향상에 기여하며, RGC는 최소한의 파라미터 오버헤드로도 강력한 성능 향상을 제공하는 것으로 확인되었다.