[논문 리뷰] Learning Video Instance Segmentation with Recurrent Graph Neural Networks

Joakim Johnander, Emil Brissman외 2명|arXiv (Cornell University)|2020. 12. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 감지 할당, 트랙 관리, 외관 모델링을 종합적으로 모델링하는 순환 그래프 신경망(GNN)을 사용한 비디오 인스턴스 세그멘테이션을 위한 새로운 엔드 투 엔드 학습 제안한다. 이 방법은 추론 속도 30 FPS를 달성하고, YouTubeVIS에서 이전 실시간 방법 대비 mAP를 9.2% 향상시켜, 가림, 오진 양성, 외관 변화와 같은 상황에서도 뛰어난 정확성과 강인성을 입증한다.

ABSTRACT

Most existing approaches to video instance segmentation comprise multiple modules that are heuristically combined to produce the final output. Formulating a purely learning-based method instead, which models both the temporal aspect as well as a generic track management required to solve the video instance segmentation task, is a highly challenging problem. In this work, we propose a novel learning formulation, where the entire video instance segmentation problem is modelled jointly. We fit a flexible model to our formulation that, with the help of a graph neural network, processes all available new information in each frame. Past information is considered and processed via a recurrent connection. We demonstrate the effectiveness of the proposed approach in comprehensive experiments. Our approach, operating at over 25 FPS, outperforms previous video real-time methods. We further conduct detailed ablative experiments that validate the different aspects of our approach.

연구 동기 및 목표

• 비디오 인스턴스 세그멘테이션에서 모듈식이고 히우리스틱 기반 파이프라인의 한계를 해결하기 위해 작업을 종합적인 학습 문제로 재정의한다.
• 추론 과정(시간적 추론 및 글로벌 트랙 관리 포함)을 밀접하게 모방하는 엔드 투 엔드 학습을 가능하게 한다.
• 통합적이고 미분 가능한 프레임워크를 통해 감지 오류, 가림, 외관 변화에 대한 강인성을 향상시킨다.
• 특히 고통스러운 비디오 시퀀스에서 정확도를 희생시키지 않고 실시간 성능(25 FPS 이상)을 달성한다.

제안 방법

• 모델은 각 프레임의 모든 감지 결과와 트랙을 처리하기 위해 그래프 신경망(GNN)을 사용하며, 감지 결과와 기존 트랙 간의 쌍별 매칭 확률을 계산한다.
• 순환 연결을 통해 프레임 간 트랙 임베딩을 유지하고 업데이트함으로써 시간적 추론과 상태 지속성을 가능하게 한다.
• 트랙 임베딩은 신뢰도, 클래스 소속도, 학습 가능한 업데이트 규칙를 가진 가우시안 분포로 모델링된 외관 특징을 예측하는 데 사용된다.
• 네트워크는 동시에 예측한다: (1) 감지 결과가 새로운 트랙을 초기화해야 하는지 여부, (2) 감지 결과-트랙 매칭 확률, (3) 트랙 수준의 신뢰도 및 클래스.
• 마스크 IoU, 클래스 크로네커 델타, 감지 신뢰도를 조합한 미분 가능한 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 학습 가능한 외관 모델링 구성 요소는 가우시안 분포를 통해 미분 가능한 방식으로 트랙 임베딩을 업데이트함으로써 외관 변화에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합적이고 엔드 투 엔드로 미분 가능한 프레임워크가 비디오 인스턴스 세그멘테이션에서 모듈식이고 히우리스틱 기반 파이프라인을 능가할 수 있는가?
• RQ2 순환 GNN 아키텍처는 장기적인 트랙 일관성과 시간적 의존성을 얼마나 효과적으로 모델링하는가?
• RQ3 학습 가능한 외관 모델링이 가림과 외관 변화에 대한 강인성을 얼마나 향상시키는가?
• RQ4 복잡한 비디오 시퀀스에서 고성능을 유지하면서도 실시간(≥25 FPS)으로 작동할 수 있는가?

주요 결과

• 제안된 방법은 30 FPS의 추론 속도를 달성하고, YouTubeVIS에서 모든 이전 실시간 방법을 능가하며, DeepSORT 대비 9.2%의 절대 mAP 향상을 기록하고, MaskTrack R-CNN 대비 5.0% 향상되었다.
• 제거 실험 결과, 외관 모델링을 제거하거나 공분산을 일정하게 유지할 경우 6.1%의 절대 mAP 감소가 발생하여, 이 요소의 핵심적 역할을 확인했다.
• LSTM 유사 게이팅 메커니즘을 제거할 경우 학습이 불안정해지고 발산함을 확인하여, 안정적인 최적화에 있어 이 요소의 중요성을 입증했다.
• ResNet50 백본을 ResNet101로 교체하면 성능 향상이 뚜렷하게 발생함을 확인하여, 더 강력한 특징 추출의 이점은 있지만 추론 시간 증가를 수반함을 확인했다.
• 정성적 결과를 통해 감지 실패 상황에서도 잘 작동하고, 오진 양성은 효과적으로 억제하며, 가림 상황에서도 트랙을 유지함을 입증했다.
• 실패 사례로는 비정의된 클래스(예: 펠리카)를 추적하거나, 그림(예: 사람의 그림)을 잘못 식별하는 경우가 있으며, 이는 비물리적 객체로의 일반화 능력에 한계가 있음을 시사한다.