[논문 리뷰] Video Salient Object Detection via Adaptive Local-Global Refinement

Yi Tang, Yuanman Li외 1명|arXiv (Cornell University)|2021. 04. 29.

Visual Attention and Saliency Detection참고 문헌 24인용 수 4

한 줄 요약

이 논문은 영상 주목 객체 검출을 위한 적응형 로컬-글로벌 정밀화 네트워크(LGRN)를 제안하며, 전용 로컬 및 글로벌 정밀화 모듈을 통해 다중 수준의 공간 및 시간적 특징을 정밀화하여 특징 융합을 향상시킨다. 그래프 컨volution 네트워크(GCN)-기반 적응형 가중치 부여 기법을 사용하여 중복된 특징을 억제하고 구분력 있는 상관관계를 강조함으로써, 프레임당 0.04초의 런타임으로 공개 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video salient object detection (VSOD) is an important task in many vision applications. Reliable VSOD requires to simultaneously exploit the information from both the spatial domain and the temporal domain. Most of the existing algorithms merely utilize simple fusion strategies, such as addition and concatenation, to merge the information from different domains. Despite their simplicity, such fusion strategies may introduce feature redundancy, and also fail to fully exploit the relationship between multi-level features extracted from both spatial and temporal domains. In this paper, we suggest an adaptive local-global refinement framework for VSOD. Different from previous approaches, we propose a local refinement architecture and a global one to refine the simply fused features with different scopes, which can fully explore the local dependence and the global dependence of multi-level features. In addition, to emphasize the effective information and suppress the useless one, an adaptive weighting mechanism is designed based on graph convolutional neural network (GCN). We show that our weighting methodology can further exploit the feature correlations, thus driving the network to learn more discriminative feature representation. Extensive experimental results on public video datasets demonstrate the superiority of our method over the existing ones.

연구 동기 및 목표

• 간단한 융합 전략(예: 덧셈, 연결)의 한계를 해결하기 위해, 영상 주목 객체 검출에서 특징의 중복과 상호 도메인 상관관계의 낭비를 초래하는 문제를 해결하고자 한다.
• 다양한 수준의 특징 간의 계층적 의존성을 캡처하기 위해, 국소 및 글로벌 수용장역도 수준에서 융합된 특징을 정밀화하여 특징 표현을 향상시키고자 한다.
• 그래프 컨볼루션 네트워크(GCN)를 활용해 동적으로 효과적인 특징을 강조하고 관련성이 없는 특징을 억제하는 적응형 가중치 부여 기법을 개발하고자 한다.
• 효율적인 추론 속도를 유지하면서 영상 주목성 벤치마크에서 뛰어난 성능을 달성하고자 한다.
• 제안된 모듈의 효과성을 부가 분석과 최신 기술 수준의 방법과의 비교를 통해 검증하고자 한다.

제안 방법

• 영상 프레임에서 공간적 및 시간적 특징을 추출하기 위해 이중 스트림 인코더-디코더 아키텍처를 사용한다.
• 국소 수용장역도 내 특징을 정밀화하여 다중 수준의 특징 간 세밀한 공간적 의존성을 캡처하는 국소 정밀화 모듈(LRM)을 설계한다.
• 전체 특징 맵을 통해 특징을 집계하여 장거리 글로벌 의존성을 모델링하는 글로벌 정밀화 모듈(GRM)을 도입한다.
• 공간적 및 시간적 특징 간 상관관계 모델링을 향상시키기 위해 GCN 기반 적응형 가중치 전략을 적용하여 동적 어텐션 가중치를 학습한다.
• 경계 정밀도 향상을 위해 합성 손실 함수(BCE + L1)를 사용하여 학습을 감독한다.
• 고수준의 의미 정보를 하위 레이어로 되돌려 보내 특징 정밀화를 이끄는 피드백 연결을 통합한다.

실험 결과

연구 질문

• RQ1 국소 및 글로벌 의존성을 별도로 모델링하는 계층적 정밀화 전략이 영상 주목 객체 검출에서 특징 표현을 향상시키는가?
• RQ2 고정된 융합 전략과 비교해 GCN 기반 적응형 가중치 부여 기법이 공간-시간 도메인 간 특징 상관관계를 얼마나 효과적으로 포착하는가?
• RQ3 피드백 특징의 통합이 네트워크의 특징 정밀화 능력 향상과 정확도 향상에 기여하는가?
• RQ4 기존 최신 기술 수준의 영상 주목성 모델과 비교해 제안된 방법의 성능 및 효율성은 어떠한가?
• RQ5 제안된 각 구성 요소(LRM, GRM, GCN 가중치, 피드백)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• DAVIS 데이터셋에서 제안된 방법은 $F_{eta}$ 점수 0.954, S 측정치 0.951, MAE 0.013을 기록하여 기존 최신 기술 수준의 방법들을 능가한다.
• 부가 분석 결과, LRM, GRM, GCN 기반 가중치, 피드백 특징 각각이 성능 향상에 크게 기여하는 것으로 확인되었다.
• GCN 기반 적응형 가중치 부여 기법은 완전 연결 또는 가중치 없음 전략 대비 특징 상관관계 모델링을 향상시켜 더 구분력 있는 표현을 가능하게 한다.
• 제안된 방법의 런타임은 프레임당 0.04초로, MGA(0.07초) 및 TEN(0.06초)와 같은 이전 영상 주목성 모델보다 빠르며, 이미지 기반 최신 기술 수준 모델과도 경쟁 가능하다.
• 백본(ResNet50)은 총 추론 시간의 약 1/3을 차지하며, 국소 및 글로벌 정밀화 모듈은 구조적 복잡성에도 불구하고 계산적으로 효율적이다.
• 부가 분석 결과, GCN 기반 가중치 또는 피드백 특징을 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 이들이 프레임워크에서 핵심적인 역할을 한다는 것을 입증한다.