[논문 리뷰] Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation

Qiang Zhou, Zilong Huang외 6명|arXiv (Cornell University)|2019. 07. 02.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 4

한 줄 요약

PTSNet는 객체 제안, 추적, 동적 기준 세분화 네트워크로 구성된 계층적 비디오 객체 세분화 프레임워크를 제안한다. 객체 존재도를 활용한 효율적 국소화, 척도 적응 기능을 갖춘 온라인 추적, 그리고 이전 예측에서 유래한 동적 기준 학습을 통해 DAVIS’17과 YouTube-VOS에서 최신 기술 수준의 성능을 달성하였으며, 전체 학습 및 추론 파이프라인을 통해 71.6% JIoU를 기록하였다.

ABSTRACT

Video object segmentation (VOS) aims at pixel-level object tracking given only the annotations in the first frame. Due to the large visual variations of objects in video and the lack of training samples, it remains a difficult task despite the upsurging development of deep learning. Toward solving the VOS problem, we bring in several new insights by the proposed unified framework consisting of object proposal, tracking and segmentation components. The object proposal network transfers objectness information as generic knowledge into VOS; the tracking network identifies the target object from the proposals; and the segmentation network is performed based on the tracking results with a novel dynamic-reference based model adaptation scheme. Extensive experiments have been conducted on the DAVIS'17 dataset and the YouTube-VOS dataset, our method achieves the state-of-the-art performance on several video object segmentation benchmarks. We make the code publicly available at https://github.com/sydney0zq/PTSNet.

연구 동기 및 목표

• 큰 시각적 변동성과 제한된 학습 데이터 하에서 반감독 비디오 객체 세분화 문제를 해결하기 위해.
• 객체 존재도 인식 기반의 제안 생성을 통해 국소화 정확도를 향상시키고 검색 공간을 줄이기 위해.
• 이전 예측 결과를 가짜 정답으로 사용하여 역사적 예측을 기반으로 한 동적 기준 학습을 통해 세분화의 강인성을 향상시키기 위해.
• 모듈러하고 계층적인 아키텍처를 통해 국소화와 세분화 작업을 분리함으로써 더 나은 특징 학습을 가능하게 하기 위해.
• 전체 미세조정 없이도 온라인 모델 적응을 가능하게 하여 외관 변화 상황에서 일반화 능력을 향상시키기 위해.

제안 방법

• 객체 제안 네트워크(OPN)는 클래스 무관이 고객체 존재도 영역을 생성하여 추적에 대한 검색 공간을 줄인다.
• 객체 추적 네트워크(OTN)는 제안 영역에 점수를 매기고 온라인으로 척도 및 외관 변화에 적응하여 대상 객체를 식별한다.
• 동적 기준 세분화 네트워크(DRSN)는 첫 번째 프레임의 애노테이션과 다수의 과거 세분화 마스크를 동적 기준으로 사용하여 현재 프레임의 예측을 안내한다.
• DRSN은 고신뢰도 이전 예측 결과를 가짜 애노테이션으로 사용하여 세분화 네트워크를 업데이트하는 새로운 모델 적응 기법을 적용한다.
• 이 프레임워크는 엔드 투 엔드로 훈련 가능하며 인과적 구조를 가지므로 미래 프레임에 의존하지 않는 실시간 추론이 가능하다.
• 추가로 온라인 미세조정을 적용하여 장기적 가림이나 외관 변화 상황에서도 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 객체 존재도 인식 기반의 제안 생성이 비디오 객체 세분화에서 국소화 효율성과 정확도를 크게 향상시킬 수 있는가?
• RQ2 이전 예측 결과에서 유도한 동적 기준 학습이 정적 기준 또는 온라인 미세조정에 비해 세분화 성능에서 어떤가?
• RQ3 제안, 추적, 세분화를 분리하는 계층적 아키텍처가 외관 및 운동 변화에 대한 강인성을 향상시킬 수 있는가?
• RQ4 DAVIS를 추적 벤치마크로 간주할 때, 객체 존재도 정보가 추적 성능 향상에 얼마나 기여하는가?
• RQ5 동적 기준을 통한 온라인 모델 적응 통합이 장기적 추적 안정성에 어떤 영향을 미치는가?

주요 결과

• PTSNet는 DAVIS’17 검증 세트에서 71.6% JIoU를 기록하여 이전 최신 기술 수준의 방법들을 능가하였다.
• 제거 실험 결과, 정적 기준(RGMP)만 사용할 경우 대비 동적 기준을 추가함으로써 성능이 5.1% 향상됨을 확인하였다.
• 객체 제안 네트워크(OPN)를 도입함으로써 가우시안 샘플링 기반 베이스라인 대비 성능이 2.2% 향상되어 객체 존재도가 국소화에 있어 가치가 있음을 입증하였다.
• OPN, OTN, DRSN을 동적 기준과 함께 조합한 결과 66.1% JIoU를 달성하였으며, 이는 베이스라인 RGMP 대비 7.3% 향상된 성능이다.
• 여섯 개의 참조 프레임(N-2, N-4, N-6 포함)을 사용할 경우 테이탄 V에서 정확도(66.1%)와 추론 속도(56.15ms/프레임) 사이의 최적의 균형을 확보하였다.
• 추적 데이터셋으로 평가했을 때, OPN는 AUC를 가우시안 샘플링 기반 52.1%에서 77.8%로 향상시켜 객체 존재도가 추적 신뢰도를 향상시킴을 입증하였다.