[논문 리뷰] RGB-D Saliency Detection via Cascaded Mutual Information Minimization

Jing Zhang, Deng-Ping Fan외 5명|arXiv (Cornell University)|2021. 09. 15.

Visual Attention and Saliency Detection참고 문헌 50인용 수 8

한 줄 요약

이 논문은 RGB와 깊이 모odal 간의 상보적 정보를 상호정보량 최소화를 통해 명시적으로 모델링하는 계단식 다단계 학습 프레임워크를 제안한다. 각 단계에서 상호정보량 최소화를 정규화 요소로 적용함으로써, 중복을 줄이고 특징 다양성을 향상시켜 벤치마크 데이터셋에서 최신 기준 성능을 달성한다. 또한, 완전/약한/비지도 학습을 위한 다양한 애너테이션을 갖춘 가장 큰 RGB-D 색이성 데이터셋인 COME15K를 도입한다.

ABSTRACT

Existing RGB-D saliency detection models do not explicitly encourage RGB and depth to achieve effective multi-modal learning. In this paper, we introduce a novel multi-stage cascaded learning framework via mutual information minimization to "explicitly" model the multi-modal information between RGB image and depth data. Specifically, we first map the feature of each mode to a lower dimensional feature vector, and adopt mutual information minimization as a regularizer to reduce the redundancy between appearance features from RGB and geometric features from depth. We then perform multi-stage cascaded learning to impose the mutual information minimization constraint at every stage of the network. Extensive experiments on benchmark RGB-D saliency datasets illustrate the effectiveness of our framework. Further, to prosper the development of this field, we contribute the largest (7x larger than NJU2K) dataset, which contains 15,625 image pairs with high quality polygon-/scribble-/object-/instance-/rank-level annotations. Based on these rich labels, we additionally construct four new benchmarks with strong baselines and observe some interesting phenomena, which can motivate future model design. Source code and dataset are available at "https://github.com/JingZhang617/cascaded_rgbd_sod".

연구 동기 및 목표

• 기존의 RGB-D 색이성 검출 모델에서 RGB와 깊이 모달 간의 상보적 정보를 명시적으로 모델링하지 못한 점을 해결하기 위해.
• 모달 간의 중복을 제약하지 않는 암시적 융합 전략의 한계를 극복하기 위해.
• 강력한 훈련과 평가를 지원하기 위해 대규모, 다양하고 풍부한 애너테이션을 갖춘 데이터셋을 제공하기 위해.
• 완전, 약한, 준지도 학습을 위한 RGB-D 색이성 검출의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 각 단계에서 상호정보량 최소화를 정규화 요소로 적용하여 RGB와 깊이 특징 간의 중복을 줄이는 다단계 계단식 학습 프레임워크를 제안한다.
• 각 모달(_RGB 및 깊이_)의 특징을 저차원 벡터로 매핑하고, 그들의 상호정보량을 최소화하여 상보적 학습을 장려한다.
• 공유된 인코더-디코더 아키텍처를 사용하며, 모달 전용 인코더와 크로스 어텐션 융합 모듈을 통해 특징을 통합하면서도 모달 전용 표현을 유지한다.
• 외삽 학습 목표를 통해 상호정보량 최소화를 적용하여 외관과 기하학적 특징 간의 분리(디센트레임트)를 장려한다.
• Holo50K에서 재애너테이션하여 15,625개의 이미지 쌍과 다각형, 스케치, 인스턴스, 객체, 순위 수준의 애너테이션을 포함한 새로운 데이터셋 COME15K를 구축한다.
• 표준, 스테레오스코픽, 스케치/다각형 지도, 준지도 학습을 위한 네 가지 새로운 벤치마크를 설정하며, 각각에 대해 강력한 베이스라인을 제공한다.

실험 결과

연구 질문

• RQ1 계단식 딥 러닝 프레임워크에서 상호정보량 최소화가 색이성 검출에 있어 RGB와 깊이 특징 간의 중복을 효과적으로 줄일 수 있는가?
• RQ2 상호정보량 최소화를 통한 상보적 정보의 명시적 모델링이 암시적 융합 전략에 비해 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 COME15K처럼 대규모, 다양하고 다중 애너테이션을 갖춘 RGB-D 데이터셋이 모델 일반화 및 벤치마크 평가에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 아키텍처 변경을 최소로 하여 약한 지도 학습 및 스테레오스코픽 색이성 검출 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 계단식 상호정보량 최소화 프레임워크는 표준 RGB-D 색이성 검출 벤치마크에서 최신 기준 성능을 달성하며, COME15K-Normal 및 COME15K-Difficult 테스트 세트에서 기존 방법들을 능가한다.
• 새로운 COME15K 데이터셋에서 최신 기준 모델 간의 성능 격차는 데이터셋이 모델의 강건성과 일반화 능력을 평가하는 데 효과적임을 보여준다.
• COME15K에서 훈련된 스테레오스코픽 색이성 검출 베이스라인은 하드 테스트 세트에서 $F_{\beta}$가 0.812를 기록하여, 데이터셋이 암시적 기하학적 모델링 잠재력을 지닌다는 것을 보여준다.
• 스케치 지도 학습 베이스라인은 $S_{\alpha}$가 0.855를 기록하고, 다각형 지도 학습 베이스라인은 0.861에 도달하여 더 풍부한 지도 정보가 예측의 구조적 일관성을 향상시킨다는 것을 시사한다.
• COME15K에 포함된 5,000개의 레이블이 없는 이미지 덕분에 효과적인 준지도 학습이 가능해졌으며, 향후 자기지도 및 약한 지도 학습 연구를 지원한다.
• 분석 결과 기존 데이터셋은 낮은 다양성과 반복되는 장면을 가지는 반면, COME15K는 훨씬 더 다양한 고품질 데이터로 이를 완화하고 있음을 확인했다.