[논문 리뷰] Accurate RGB-D Salient Object Detection via Collaborative Learning

Wei Ji, Jingjing Li외 3명|arXiv (Cornell University)|2020. 07. 23.

Visual Attention and Saliency Detection참고 문헌 69인용 수 14

한 줄 요약

이 논문은 엣지, 깊이, 그리고 주목도 특징을 상호 보완적으로 통합하여 정확한 RGB-D 주목도 객체 검출을 위한 공동 학습 프레임워크인 CoNet을 제안한다. 추론 시 별도의 깊이 네트워크나 깊이 입력이 필요하지 않도록 고수준 특징 학습에 깊이 및 주목도 학습을 통합함으로써, 경량이며 빠른 34 FPS 추론 속도를 기록하면서도 날카운 경계 유지 성능을 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Benefiting from the spatial cues embedded in depth images, recent progress on RGB-D saliency detection shows impressive ability on some challenge scenarios. However, there are still two limitations. One hand is that the pooling and upsampling operations in FCNs might cause blur object boundaries. On the other hand, using an additional depth-network to extract depth features might lead to high computation and storage cost. The reliance on depth inputs during testing also limits the practical applications of current RGB-D models. In this paper, we propose a novel collaborative learning framework where edge, depth and saliency are leveraged in a more efficient way, which solves those problems tactfully. The explicitly extracted edge information goes together with saliency to give more emphasis to the salient regions and object boundaries. Depth and saliency learning is innovatively integrated into the high-level feature learning process in a mutual-benefit manner. This strategy enables the network to be free of using extra depth networks and depth inputs to make inference. To this end, it makes our model more lightweight, faster and more versatile. Experiment results on seven benchmark datasets show its superior performance.

연구 동기 및 목표

• FCN에서 풀링/업샘플링으로 인한 객체 경계의 흐림 현상과 별도의 깊이 네트워크로 인한 높은 계산 비용 등의 기존 RGB-D 주목도 모델의 한계를 해결한다.
• 실제 적용에 제약을 가하는 추론 시 깊이 입력에 대한 의존도를 제거한다.
• 명시적인 엣지 정보 통합과 깊이 및 주목도 표현의 공동 학습을 통해 경계 정확도 향상과 모델 효율성 향상을 도모한다.
• 추론 시 추가적인 깊이 특징이나 입력이 필요하지 않은 통합형 경량 프레임워크를 개발한다.

제안 방법

• 엣지 검출, 원시 주목도 검출, 깊이 추정의 세 가지 상호 보완적 협력자로 구성된 공동 학습 프레임워크(CoNet)를 도입한다.
• 저수준 특징에서 엣지 특징을 추출하고 강화하기 위해 전용 엣지 협력자를 사용하여 주목도 맵의 경계 정위치를 향상시킨다.
• 혁신적으로 깊이 및 주목도 학습을 고수준 특징 학습에 통합하여, 추론 시 깊이 이미지를 사용하지 않더라도 깊이 관련 의미를 추론할 수 있도록 한다.
• 개별 협력자로부터 지식을 수집하고 전달하기 위해 지식 수집기(tutor)를 설계하여 주요 주목도 헤드의 특징 표현을 향상시킨다.
• 엣지, 깊이, 주목도 감독을 함께 최적화하는 다중 작업 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• RGB 특징에서 직접 깊이 인식 표현을 학습함으로써 보조 깊이 네트워크가 필요 없도록 하여 모델 크기와 추론 시간을 감소시킨다.

실험 결과

연구 질문

• RQ1 모델 복잡도 증가 없이 엣지 감독이 RGB-D 주목도 검출의 경계 정확도를 향상시킬 수 있는가?
• RQ2 깊이 및 주목도 학습을 고수준 특징에서 공동 최적화하여 별도의 깊이 네트워크가 필요 없도록 할 수 있는가?
• RQ3 공동 학습 프레임워크가 기존 RGB-D 모델보다 더 빠르고 경량화되면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 추론 시 깊이 입력이 필요 없이도 높은 정확도를 유지할 수 있는가?
• RQ5 속도, 정확도, 모델 효율성 측면에서 제안된 방법이 RGB-only 및 RGB-D 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• CoNet은 일곱 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, $F_{\beta}^{w}$ 점수로 NJUD에서 0.856, NLPR에서 0.850, DUT-RS에서 0.871를 기록하여 22개의 SOTA 방법을 초월한다.
• 모델은 34 FPS의 추론 속도를 기록하여 다음으로 빠른 RGB-D 모델(DMRA) 대비 55% 향상되었으며, 실시간 응용에 적합하다.
• 일곱 데이터셋 전반에서 MAE 값이 가장 낮았으며, DUT-RS와 NLPR에서 각각 0.031로 주목도 예측의 높은 정밀도를 보였다.
• 모델 크기가 매우 작아, TANET(951.9 MB)과 MPCI(929.7 MB)와 같은 더 큰 모델들보다도 빠르고 정확도 면에서 뛰어나다.
• 시각적 결과는 복잡한 환경, 저대비 또는 다중 객체가 있는 장면에서 엣지 및 깊이 인식 특징 학습 덕분에 뛰어난 경계 유지 및 정확도를 보였다.
• 정량적 비교 결과, CoNet은 CPD, PoolNet 등의 최상위 RGB-only 방법과 유사한 성능을 보였으며, 깊이 정보를 더 효과적으로 활용하고 있었다.