[논문 리뷰] Betrayed by Motion: Camouflaged Object Discovery via Motion Segmentation

Hala Lamdouar, Charig Yang외 2명|arXiv (Cornell University)|2020. 11. 23.

Image Enhancement Techniques참고 문헌 47인용 수 8

한 줄 요약

이 논문은 프레임 간 차분을 통해 물체 경계를 향상시키기 위해 미분 가능 등록 모듈을 사용하고, 운동 갭 동안 물체 지속성을 유지하기 위해 메모리 증강 운동 세분화 모듈을 통합한 운동 기반 아키텍처를 제안한다. 이 방법은 새로 도입된 MoCA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 단지 온도 흐름을 입력으로 사용함으로써 DAVIS2016에서도 경쟁력 있는 결과를 보였다.

ABSTRACT

The objective of this paper is to design a computational architecture that discovers camouflaged objects in videos, specifically by exploiting motion information to perform object segmentation. We make the following three contributions: (i) We propose a novel architecture that consists of two essential components for breaking camouflage, namely, a differentiable registration module to align consecutive frames based on the background, which effectively emphasises the object boundary in the difference image, and a motion segmentation module with memory that discovers the moving objects, while maintaining the object permanence even when motion is absent at some point. (ii) We collect the first large-scale Moving Camouflaged Animals (MoCA) video dataset, which consists of over 140 clips across a diverse range of animals (67 categories). (iii) We demonstrate the effectiveness of the proposed model on MoCA, and achieve competitive performance on the unsupervised segmentation protocol on DAVIS2016 by only relying on motion.

연구 동기 및 목표

• 강한 배경 유사성으로 인해 외관만으로는 부족한 상황에서 운동 신호를 활용하여 영상 내 숨겨진 물체를 탐지할 수 있는 계산 아키텍처를 개발하는 것.
• 옵티컬 플로우 추정의 한계를 보완하기 위해, 정렬된 프레임 간 차분을 통해 경계 검출을 향상시키는 미분 가능 등록 모듈을 도입하는 것.
• 운동이 일시적으로 정지하는 상황에서도 물체 정체성을 유지하기 위해 물체 영속성을 보존하는 메모리 모듈을 통합하는 것.
• 다양하고 실제 세계적인 예제를 포함한 기존 데이터셋의 부족을 보완하기 위해, 캠ouflaged 객체 탐지 성능을 평가하기 위한 대규모 벤치마크를 구축하는 것.
• 운동 신호만으로도 표준 벤치마크인 DAVIS2016에서도 경쟁 가능한 비지도 영상 물체 세분화 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 미분 가능 등록 모듈이 배경을 기반으로 연속된 영상 프레임을 정렬하여 물체 경계를 강조하는 차분 이미지를 생성한다.
• 정렬된 프레임에서 생성된 차분 이미지는 운동 경계 검출을 정교화하기 위한 보조 지도로 사용된다.
• 순환 메모리가 통합된 운동 세분화 모듈이 시간에 따라 온도 흐름을 처리하여, 운동이 일시적으로 없어지는 상황에서도 물체 정체성을 유지한다.
• 모델은 세분화 손실과 일관성 손실의 조합을 사용하여 엔드 투 엔드로 훈련되어 강건성을 향상시킨다.
• 아키텍처는 제안된 MoCA 데이터셋과 DAVIS2016 벤치마크에서 평가되며, 구성 요소 기여도를 분리하기 위한 아블레이션 스터디가 실시된다.
• RGB 외관 스트림을 별도로 추가한 이중 스트림 확장 방식을 탐색하여, 외관 신호가 가용할 경우 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 외관이 배경과 거의 동일한 숨겨진 물체를 탐지하기 위해 운동 신호만으로도 충분한가?
• RQ2 노이즈가 많거나 정확도가 떨어지는 온도 흐름이 존재할 경우, 프레임 정렬이 운동 기반 물체 경계 검출 품질을 어떻게 향상시킬 수 있는가?
• RQ3 메모리 모듈이 운동 갭 기간 동안 물체 정체성을 얼마나 잘 유지할 수 있으며, 이로 인해 세분화 일관성이 얼마나 향상되는가?
• RQ4 표준 영상 세분화 벤치마크인 DAVIS2016에서 운동 중심 모델은 외관 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 운동 신호만으로 훈련된 통합 아키텍처가 매우 도전적인 캠ouflaging 시나리오와 표준 영상 세분화 작업 양쪽에 일반화 가능한가?

주요 결과

• 제안된 모델은 All_Motion 프로토콜 하에서 MoCA 벤치마크에서 평균 재현율 지수 39.4%를 달성하여, 온도 흐름에만 의존하는 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 아블레이션 스터디 결과, 메모리 모듈이 상당한 기여를 했으며, All_Motion 분할에서 성능을 25.5%에서 39.4%로 향상시켰다.
• MoCA All_Motion 분할에서 MPNet(흐름 기반 기준 모델)보다 5.0%포인트 높은 성능을 기록하여, 등록 및 메모리 구성 요소의 효과를 입증했다.
• DAVIS2016에서 모델은 오직 운동 정보만을 사용하여 평균 재현율 점수 65.3%를 기록했으며, 이는 외관 신호를 사용하는 최신 기술 수준의 방법들과 경쟁 가능한 성능이었다.
• RGB 외관 스트림을 통합한 확장 모델은 MoCA에서 성능을 42.4%까지 향상시켰으며, 이는 외관 특징이 가용할 경우 추가로 세분화 성능을 향상시킬 수 있음을 시사한다.
• 결과적으로, 외관이 뚜렷한 시나리오에서는 여전히 외관 신호가 지배적이지만, 표준 벤치마크에서도 운동 신호가 세분화에 강력한 신호로 기능할 수 있음을 보여주었다.