[논문 리뷰] Instance-Level Relative Saliency Ranking with Graph Reasoning

Nian Liu, Long Li외 3명|arXiv (Cornell University)|2021. 07. 08.

Visual Attention and Saliency Detection참고 문헌 87인용 수 4

한 줄 요약

이 논문은 인스턴스 수준 상대적 주목도 순위 매기기의 첫 번째 엔드 투 엔드 모델을 제안하며, 개선된 Mask R-CNN를 인스턴스 세그멘테이션에 사용하고, 국소 대비, 전반적 맥락, 인스턴스 간 상호작용, 의미적 사전 지식을 통합하는 그래프 추론 모듈을 도입하여 상대적 주목도 순위를 추론한다. 이 방법은 새로운 평가 지표를 가진 신규 도입된 데이터셋에서 최신 기술 수준의 성능을 달성하며, 적응형 이미지 리타겟팅과 같은 응용 분야에서 뛰어난 정확도와 실용성을 입증한다.

ABSTRACT

Conventional salient object detection models cannot differentiate the importance of different salient objects. Recently, two works have been proposed to detect saliency ranking by assigning different degrees of saliency to different objects. However, one of these models cannot differentiate object instances and the other focuses more on sequential attention shift order inference. In this paper, we investigate a practical problem setting that requires simultaneously segment salient instances and infer their relative saliency rank order. We present a novel unified model as the first end-to-end solution, where an improved Mask R-CNN is first used to segment salient instances and a saliency ranking branch is then added to infer the relative saliency. For relative saliency ranking, we build a new graph reasoning module by combining four graphs to incorporate the instance interaction relation, local contrast, global contrast, and a high-level semantic prior, respectively. A novel loss function is also proposed to effectively train the saliency ranking branch. Besides, a new dataset and an evaluation metric are proposed for this task, aiming at pushing forward this field of research. Finally, experimental results demonstrate that our proposed model is more effective than previous methods. We also show an example of its practical usage on adaptive image retargeting.

연구 동기 및 목표

• 기존 주목도 검출 모델이 실제 세계의 장면에서 주목도 수준이 다른 객체를 동일하게 취급하는 데서 발생하는 격차를 해결하기 위해.
• 동시에 주목도 인스턴스를 세그멘터라이즈하고 그들의 상대적 주목도 순위를 추론하는 통합된 엔드 투 엔드 프레임워크를 개발하기 위해.
• 국소, 전반적, 의미적 특징을 포함한 다수의 주목도 신호와 인스턴스 간 관계를 효과적으로 모델링하여 정확한 순위 예측을 위해.
• 미래 연구를 지원하기 위해 인스턴스 수준 상대적 주목도 순위 매기기 전용으로 설계된 새로운 데이터셋과 평가 지표를 제안하기 위해.

제안 방법

• 정확한 마스크를 제공하는 주목도 객체를 위한 인스턴스 세그멘테이션 백본으로 개선된 Mask R-CNN을 사용한다.
• 새로운 그래프 추론 모듈을 도입하며, 인스턴스 상호작용, 국소 대비, 전반적 대비, 고수준 의미적 사전 지식의 네 가지 그래프를 통합한다.
• 메시지 전달을 통해 다중 수준 특징을 집계하여 주목도 인스턴스 간 복잡한 관계를 모델링한다.
• 상대적 순위 순서 정확도 최적화를 위해 상대적 순위 분기의 손실 함수를 설계한다.
• 두 단계로 모델을 훈련한다: 먼저 인스턴스 세그멘테이션을 수행하고, 그 다음 공동 최적화를 통해 주목도 순위를 추론한다.
• 각 인스턴스에 대해 연속적인 점수로 주목도 순위를 예측하여 객체 중요도의 상대적 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 정확한 인스턴스 수준 주목도 세그멘테이션과 상대적 주목도 순위 매기기를 동시에 수행할 수 있는가?
• RQ2 국소 대비, 전반적 맥락, 인스턴스 상호작용, 의미적 사전 지식 등의 다수 수준의 맥락 신호를 효과적으로 통합하여 상대적 주목도 예측을 수행할 수 있는가?
• RQ3 절대 주목도 감독에 의존하지 않고도 정확한 상대 순위 학습을 지원하는 데 가장 적합한 손실 함수 설계는 무엇인가?
• RQ4 제안된 그래프 추론 모듈은 순차적 어텐션 또는 픽셀 수준의 회귀와 비교해 순위 예측 성능을 어떻게 향상시키는가?
• RQ5 제안된 모델은 적응형 이미지 리타겟팅과 같은 실제 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 모델은 새로 도입된 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 세그멘테이션 및 순위 예측 정확도에서 뛰어난 성능을 보였다.
• 그래프 추론 모듈은 인스턴스 간 관계와 다중 척도 맥락을 효과적으로 모델링함으로써 순위 예측 성능을 크게 향상시켰다.
• 제안된 손실 함수는 상대적 순위 최적화를 더 잘 지원하여 표준 회귀 손실 함수에 비해 더 정확한 주목도 순서 예측을 가능케 하였다.
• 모델은 적응형 이미지 리타겟팅에서 실용적인 유용성을 입증하였으며, 대규모 축소 시에도 가장 주목도가 높은 객체를 유지하면서 덜 중요한 객체를 제거하였다.
• 절연 분석을 통해 그래프 추론 모듈의 각 구성 요소의 중요성이 확인되었으며, 전체 모델이 가장 우수한 성능을 내었다.
• 새로운 데이터셋과 평가 지표가 인스턴스 수준 상대적 주목도 순위 매기기 성능 측정에 효과적임을 입증하였으며, 향후 벤치마킹을 지원하는 데 기여하였다.