[논문 리뷰] Object Discovery in Videos as Foreground Motion Clustering

Christopher Xie, Xiang Yu외 2명|arXiv (Cornell University)|2018. 12. 06.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 6

한 줄 요약

이 논문은 학습된 픽셀 궤적 임베딩을 사용하여 배경 운동 군집화로 객체 탐지 문제를 재정의함으로써 영상 내에서 알려지지 않은 객체를 탐지하는 새로운 방법을 제안한다. 시간에 따라 연속된 궤적을 인코딩하기 위해 순환 신경망을 도입하고, 이를 통해 일관된 객체 분할을 위한 군집화를 수행하며, 후처리 CRF 레이어를 사용하지 않아도 여러 운동 분할 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We consider the problem of providing dense segmentation masks for object discovery in videos. We formulate the object discovery problem as foreground motion clustering, where the goal is to cluster foreground pixels in videos into different objects. We introduce a novel pixel-trajectory recurrent neural network that learns feature embeddings of foreground pixel trajectories linked across time. By clustering the pixel trajectories using the learned feature embeddings, our method establishes correspondences between foreground object masks across video frames. To demonstrate the effectiveness of our framework for object discovery, we conduct experiments on commonly used datasets for motion segmentation, where we achieve state-of-the-art performance.

연구 동기 및 목표

• 사전 카테고리 레이블 없이 영상 내에서 알려지지 않은 객체를 탐지하는 문제에 대응하기 위해.
• 시각적 외관과 운동 신호를 종합적으로 활용하여 움직이는 전경 객체와 정적 배경을 구분하기 위해.
• 궤적 군집화를 통해 영상 프레임 간 일관된 객체 대응 관계를 수립하기 위해.
• 운동 기반 객체 탐지에 유용한 강력한 특징 임베딩을 얻기 위해 픽셀 궤적에 대한 분류 가능한 특징 임베딩을 학습하기 위해.
• 이진 및 다중 객체 분할 모두에 대해 표준 운동 분할 데이터셋에서 최신 기술(SOTA) 성능을 달성하기 위해.

제안 방법

• RGB 프레임과 옵티컬 플로우를 융합하여 외관과 운동 신호를 통합한 픽셀 수준의 특징 임베딩을 학습하는 새로운 인코더-디코더 네트워크를 제안한다.
• 전경 마스크 내에서 시간 순서에 따라 특징을 누적함으로써 고차원의 궤적 특징 임베딩을 학습하는 맞춤형 순환 신경망(RNN)을 도입한다.
• 전경 마스크를 어텐션 메커니즘으로 활용하여 궤적 군집화를 관련된 움직이는 영역에 집중시킴으로써 분할 정확도를 향상시킨다.
• 픽셀 궤적 임베딩을 군집 알고리즘(예: k-means)을 사용하여 군집화하여 각 궤적을 별개의 객체에 할당함으로써, 프레임 간 일관된 객체 레이블링을 가능하게 한다.
• 전경 분할과 궤적 임베딩 학습을 동시에 고려한 다중 태스크 손실을 사용하여 엔드 투 엔드로 프레임워크를 학습한다.
• 후처리를 최소화함—CRF를 사용하지 않음—으로서 학습된 표현의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 학습된 임베딩에 의해 안내되는 운동 기반의 궤적 군집화가 영상 내에서 알려지지 않은 객체를 효과적으로 탐지하는 데 기여할 수 있는가?
• RQ2 딥러닝을 통해 운동과 외관 신호를 통합함으로써 전경 분할 성능는 어떻게 향상될 수 있는가?
• RQ3 순환 네트워크가 운동 기반 객체 탐지에 적합한 분류 가능한 궤적 수준의 표현을 효과적으로 학습할 수 있는가?
• RQ4 전경 마스크를 어텐션 메커니즘으로 사용함으로써 운동 분할 작업의 군집화 성능는 향상되는가?
• RQ5 제안된 방법은 표준 운동 분할 벤치마크에서 기존 최신 기술(SOTA) 접근법을 어느 정도 초월하는가?

주요 결과

• FBMS, ComplexBackground, 그리고 CamouflagedAnimal 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, 두 번째로 우수한 성능을 보인 CCG 대비 상대적 F-스코어 4.4% 향상.
• DAVIS2016 검증 세트에서 CRF 후처리 없이도 Jaccard 측정치 71.4를 기록하여 LVO(70.1) 및 기타 최신 기술(SOTA) 방법들을 능가.
• 모든 데이터셋에서 높은 재현율을 보이며, 특히 미리 보지 않은 또는 도전적인 시퀀스에서 F-스코어 향상에 기여한다.
• FT3D 데이터셋에서 F-측정치 기준으로 MPNet 대비 상대적 5.6% 향상되며, 합성 데이터에 대한 강력한 일반화 능력을 입증한다.
• 정성적 결과 분석에서, CCG가 실패하는 저조도 또는 일관되지 않은 옵티컬 플로우를 가진 객체들에 대해서도 예측된 전경 마스크의 어텐션 메커니즋试로 정확하게 분할함을 확인.
• 실패 사례는 주로 전경 마스크 예측이 잘못되었거나, 여러 객체가 하나의 군집으로 합쳐지는 클러스터 콜라프스 현상에서 기인한다.