[논문 리뷰] Selectivity or Invariance: Boundary-aware Salient Object Detection

Jinming Su, Jia Li외 3명|arXiv (Cornell University)|2018. 12. 25.

Visual Attention and Saliency Detection참고 문헌 50인용 수 20

한 줄 요약

이 논문은 눈에 띄는 객체 검출에서 선택성-불변성 역설을 해결하기 위해 연속 확대를 통합한 경계 인식 네트워크(BANet)를 제안한다: 세밀한 구분을 위해 경계에서 선택적인 특징과 전체 객체 검출을 위해 내부에서 불변하는 특징. 경계 위치 지정 스트림, 내부 인식 스트림, 전이 보완 스트림을 통합된 연속 확대 모듈과 함께 통합함으로써 BANet는 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 16개의 최신 기술(SOTA) 방법보다 F-측정치와 MAE에서 뚜렷한 향상을 보였다.

ABSTRACT

Typically, a salient object detection (SOD) model faces opposite requirements in processing object interiors and boundaries. The features of interiors should be invariant to strong appearance change so as to pop-out the salient object as a whole, while the features of boundaries should be selective to slight appearance change to distinguish salient objects and background. To address this selectivity-invariance dilemma, we propose a novel boundary-aware network with successive dilation for image-based SOD. In this network, the feature selectivity at boundaries is enhanced by incorporating a boundary localization stream, while the feature invariance at interiors is guaranteed with a complex interior perception stream. Moreover, a transition compensation stream is adopted to amend the probable failures in transitional regions between interiors and boundaries. In particular, an integrated successive dilation module is proposed to enhance the feature invariance at interiors and transitional regions. Extensive experiments on six datasets show that the proposed approach outperforms 16 state-of-the-art methods.

연구 동기 및 목표

• 내부 특징가 외관 변화에 대해 불변해야 하며, 경계 특징가 미세한 차이를 선택적으로 반영해야 하는 눈에 띄는 객체 검출의 본질적 갈등을 해결하기 위해.
• 특히 세밀한 경계와 눈에 띄는 객체 내에서 외관 변화가 큰 영역에서의 세분화 정확도를 향상시키기 위해.
• 다른 객체 영역에서 특징의 선택성과 불변성을 별도로 처리할 수 있는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 새로운 다중 경로 확대 모듈을 사용하여 내부 및 전이 영역에서의 문맥 특징 추출을 향상시키기 위해.

제안 방법

• 네트워크는 공유 특징을 추출하기 위해 ResNet-50 백본을 사용하며, 이를 바탕으로 세 가지 전용 스트림(경계 위치 지정, 내부 인식, 전이 보완)에 공급된다.
• 경계 위치 지정 스트림은 정밀한 경계 검출을 위해 고도로 선택적인 특징을 추출하는 단순한 서브네트워크를 사용한다.
• 내부 인식 스트림은 통합된 연속 확대(ISD) 모듈을 갖춘 복잡한 아키텍처를 사용하여 외관 변화에 저항하는 불변 특징을 추출한다.
• 전이 보완 스트림은 내부와 경계 사이의 전이 영역에서 잠재적인 오류를 수정하기 위해 특징 표현을 정밀하게 조정한다.
• ISD 모듈은 다양한 확대 비율을 가진 다중 병렬 경로를 통해 문맥 집약을 향상시켜 다양한 시각적 패턴에서 특징의 불변성을 개선한다.
• 최종로 눈에 띄는 맵은 세 스트림 출력의 적응형 융합을 통해 생성되며, 정확하고 통합적인 검출을 위한 경계 인식 특징 모자이크를 형성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 객체 경계에서 높은 선택성과 내부에서 높은 불변성을 동시에 달성할 수 있는가?
• RQ2 눈에 띄는 객체 검출에서 선택성-불변성 역설을 완화하는 데 가장 효과적인 아키텍처 구성 요소는 무엇인가?
• RQ3 전용 전이 보완 스트림이 특징 요구 사항이 불변성에서 선택성으로 변화하는 영역에서 성능 향상에 기여하는가?
• RQ4 통합된 연속 확대 모듈이 복잡한 시각적 맥락에서 특징의 불변성을 얼마나 향상시키는가?

주요 결과

• BANet는 여섯 개의 벤치마크 데이터셋에서 16개의 최신 기술 방법을 초월하여 F-측정치와 MAE 모두에서 일관된 우수성을 입증했다.
• 경계 위치 지정 스트림만 포함시켜도 MAE가 크게 감소하고 F-측정치가 상승하여 강력한 성능 향상이 선택성 향상 덕분임을 시사한다.
• IPS + BLS 설정에 전이 보완 스트림을 추가하면 HKU-IS 데이터셋에서 Fβ 점수를 최대 1.5% 향상시켜 전이 영역 오류 보정의 효과를 확인했다.
• ISD 모듈을 제거하면 성능이 급격히 떨어지며, 반사나 겹치는 객체와 같은 복잡한 시나리오에서 잘못된 눈에 띄는 객체 예측이 발생한다.
• ISD를 ASPP나 ASPP-M로 대체하면 성능이 열등하여 ISD의 다중 경로 정보 흐름이 강력한 특징 불변성에 필수적임을 입증한다.
• 정성적 결과는 BANet가 더 정확하고 날카로운 경계를 생성하고, 큰 외관 변화가 있는 경우에도 눈에 띄는 객체를 통합된 전체로 더 잘 포착함을 보여준다.