[논문 리뷰] ALBA : Reinforcement Learning for Video Object Segmentation

Shreyank N Gowda, Panagiotis Eustratiadis외 2명|arXiv (Cornell University)|2020. 05. 26.

Visual Attention and Saliency Detection참고 문헌 29인용 수 9

한 줄 요약

ALBA는 객체 제안, 광학 흐름, 외관 특징를 사용하여 시공간적으로 통합된 제안 선택 및 그룹화 문제로 간주함으로써 강화학습 기반 프레임워크를 제안한다. 이는 시간적 메모리가 내장된 관계 신경망을 통해 국소적 판단을 초월하고 전역적으로 최적의 그룹화 결정을 내리며, IoU 기반 평가 지표를 직접 최적화함으로써 최신 기술 수준(SOTA) 성능을 달성한다. 이는 DAVIS 2017에서 이전 방법보다 최대 5.5% 향상되었고, FBMS 및 YouTube-VOS에서도 뚜렷한 성능 향상을 보였다.

ABSTRACT

We consider the challenging problem of zero-shot video object segmentation (VOS). That is, segmenting and tracking multiple moving objects within a video fully automatically, without any manual initialization. We treat this as a grouping problem by exploiting object proposals and making a joint inference about grouping over both space and time. We propose a network architecture for tractably performing proposal selection and joint grouping. Crucially, we then show how to train this network with reinforcement learning so that it learns to perform the optimal non-myopic sequence of grouping decisions to segment the whole video. Unlike standard supervised techniques, this also enables us to directly optimize for the non-differentiable overlap-based metrics used to evaluate VOS. We show that the proposed method, which we call ALBA outperforms the previous stateof-the-art on three benchmarks: DAVIS 2017 [2], FBMS [20] and Youtube-VOS [27].

연구 동기 및 목표

• 수동 초기화 없이 제로샷 비디오 객체 분할(VOS) 문제에 도전한다.
• IoU와 같은 미분 불가능한 평가 지표 최적화의 비효율성과 노출 편향 등의 문제를 해결하기 위해 지도학습의 한계를 극복한다.
• 강화학습을 통해 프레임 간 전역적으로 최적의 비국소적 그룹화 결정을 내리는 방법을 개발한다.
• 겹치는 영역 기반 평가 지표(J&F, J-Mean, F-Mean)를 직접 최적화할 수 있는 엔드 투 엔드 학습을 가능하게 한다.
• 광학 흐름과 순환 관계 추론을 통합하여 분할의 시간적 및 공간적 일관성을 향상시킨다.

제안 방법

• ALBA는 객체 제안, 광학 흐름, 외관 특징를 활용하여 시공간적으로 통합된 제안 선택 및 그룹화 문제로 VOS를 재정의한다.
• 관계 신경망은 제안 간 상호 관계를 계산하고 기존 그룹과의 관계를 기반으로 동적으로 반복적으로 레이블을 할당한다.
• 시간적 일관성은 이전 프레임의 그룹화 결과와 광학 흐름을 메모리 메커니즘을 통해 결정 네트워크에 통합함으로써 강화된다.
• 강화학습을 사용하여 할당 정책을 학습하며, 최종 분할 품질을 최적화하기 위해 교차 면적 비율(IoU) 기반의 조밀한 보상을 사용한다.
• 정책은 정책 기반 강화학습 방법을 사용하여 전체 비디오 시퀀스 동안 기대 누적 보상의 최대화를 목표로 하며, 국소적 판단을 초월한 비국소적 결정을 가능하게 한다.
• 학습 중 다양하고 견고한 그룹화 행동을 유도하기 위해 엔트로피 정규화를 통한 탐색 전략을 도입한다.

실험 결과

연구 질문

• RQ1 강화학습을 효과적으로 비디오 객체 분할에 적용하여, 탐욕적 지도학습 기반 접근 방식을 초월한 전역적 의사결정을 향상시킬 수 있는가?
• RQ2 RL로 훈련된 비국소적 정책이 IoU와 같은 비미분 가능 지표 최적화를 위해 설계된 경우, 탐욕적 지도학습 기반 보다 뛰어난 성능을 내는가?
• RQ3 관계 그룹화 네트워크에 시간적 메모리와 광학 흐름을 통합하면, 프레임 간 분할 일관성이 향상되는가?
• RQ4 제안된 그룹화 기반의 통합 프레임워크가 DAVIS 2017, FBMS, YouTube-VOS와 같은 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ5 비디오 객체 분할(VOS)에서 RL 기반의 J&F 지표 직접 최적화가 기존 픽셀 수준의 교차 엔트로피 감독보다 더 효과적인가?

주요 결과

• DAVIS 2017 검증 세트에서 ALBA는 J&F-Mean 점수 58.4점을 기록하여 이전 최신 기술 수준(SOTA)보다 5.5% 향상되었다.
• FBMS 데이터셋에서 ALBA는 J-Mean 77.6과 F-score 84.4를 달성하여 AGS 및 RVOS를 포함한 모든 이전 방법을 뛰어넘었다.
• YouTube-VOS에서 ALBA는 J-seen 53.8과 J-unseen 34.4를 기록하여, 미리 보지 않은 객체 클래스에 대한 강력한 일반화 능력을 입증했다.
• 제거 분석 결과, 단독으로 강화학습 훈련을 수행했을 경우 지도학습 기반 보다 성능이 5.5% 향상되었으며, 이는 비국소적 최적화의 유용성을 입증한다.
• 정성적 결과 분석에서 ALBA는 붐비는 브레이크다잉 및 자전거 타는 장면과 같은 복잡한 시나리오를 효과적으로 처리하며 노이즈가 많은 제안을 정리하는 데 성공했다.
• 운동 유사성, 의미적 다양성, 도메인 이동성 등 다양한 과제를 포함한 다양한 데이터셋에서 ALBA의 성능은 뛰어난 강인성을 보였다.