[논문 리뷰] DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation

Xiaohui Zeng, Renjie Liao외 4명|arXiv (Cornell University)|2019. 09. 27.

Advanced Neural Network Applications참고 문헌 45인용 수 9

한 줄 요약

DMM-Net는 반복된 투영 경사 하강법과 Dykstra 알고리즘을 기반으로 한 미분 가능 마스크 매칭 레이어를 제안하여, 준감독 설정 하에서 영상 객체 분할 작업을 해결한다. 온라인 학습이나 미세조정 없이도 DAVIS 2017에서 최고 성능을 기록하고 YouTube-VOS와 SegTrack v2에서도 경쟁 가능한 성능을 달성한다. 이는 마스크 매칭과 개선이 가능한 엔드 투 엔드 학습에 기인한다.

ABSTRACT

In this paper, we propose the differentiable mask-matching network (DMM-Net) for solving the video object segmentation problem where the initial object masks are provided. Relying on the Mask R-CNN backbone, we extract mask proposals per frame and formulate the matching between object templates and proposals at one time step as a linear assignment problem where the cost matrix is predicted by a CNN. We propose a differentiable matching layer by unrolling a projected gradient descent algorithm in which the projection exploits the Dykstra's algorithm. We prove that under mild conditions, the matching is guaranteed to converge to the optimum. In practice, it performs similarly to the Hungarian algorithm during inference. Meanwhile, we can back-propagate through it to learn the cost matrix. After matching, a refinement head is leveraged to improve the quality of the matched mask. Our DMM-Net achieves competitive results on the largest video object segmentation dataset YouTube-VOS. On DAVIS 2017, DMM-Net achieves the best performance without online learning on the first frames. Without any fine-tuning, DMM-Net performs comparably to state-of-the-art methods on SegTrack v2 dataset. At last, our matching layer is very simple to implement; we attach the PyTorch code ($<50$ lines) in the supplementary material. Our code is released at https://github.com/ZENGXH/DMM_Net.

연구 동기 및 목표

• 초기 프레임에만 정답 마스크가 제공되는 준감독 설정 하에서 시간적으로 일관되고 정확한 영상 객체 분할 문제를 해결하기 위해.
• 헝거리안 알고리즘과 같은 최적 매칭 알고리즘이 비가역적이어서 분할 모델의 엔드 투 엔드 학습을 방해하는 문제를 해결하기 위해.
• 마스크 매칭을 위한 미분 가능한 비용 행렬을 학습시켜 마스크 전파 및 외관 변화, 가림, 운동 변화에 대한 처리 능력을 향상시키기 위해.
• 온라인 학습이나 광범위한 미세조정에 의존하지 않고도 장기간 영상 시퀀스에서 고품질이고 안정적인 분할을 달성하기 위해.
• 기존 분할 프레임워크에 쉽게 통합할 수 있는 단순하고 효율적이며, 미분 가능한 매칭 레이어를 설계하기 위해.

제안 방법

• 각 영상 프레임에 대해 프레임 독립적인 마스크 제안을 얻기 위해 Mask R-CNN 백본을 사용한다.
• IoU와 특징 벡터의 코사인 유사도를 사용하여 첫 번째 프레임의 템플릿 마스크와 현재 프레임의 제안 간의 비용 행렬을 정의한다.
• 투영 경사 하강법을 편향 없이 편환하여, Dykstra의 순환 투영 방법을 통해 투영을 수행함으로써 미분 가능한 매칭 레이어를 도입한다.
• 약한 조건 하에서 최적 해로 수렴함을 보장하고 매칭 과정을 통해 역전파가 가능하게 한다.
• 매칭 이후에 매칭된 마스크의 품질을 향상시키기 위해 개선 헤드를 적용한다.
• 전체 네트워크를 엔드 투 엔드로 학습시켜 비용 행렬과 개선 헤드를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 헝거리안 알고리즘의 미분 가능한 근사치를 설계할 수 있는가? 이는 최적성은 유지하면서도 영상 객체 분할에서 역전파를 가능하게 해야 한다.
• RQ2 미분 가능한 매칭 레이어를 통한 엔드 투 엔드 학습은 비가역 기반 모델 대비 분할 정확도와 시간적 일관성에서 어떤 개선을 이끌 수 있는가?
• RQ3 제안된 방법이 미세조정 없이도, 특히 가림 및 외관 변화와 같은 도전적인 조건에서 얼마나 잘 일반화되는가?
• RQ4 편환 단계 수와 백본 아키텍처는 미분 가능한 매칭 레이어의 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ5 미분 가능한 매칭 레이어는 추가적인 감독 없이도 개선 헤드와 효과적으로 조합되어 마스크 품질을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 미분 가능한 매칭 레이어는 추론 시 헝거리안 알고리즘과 유사한 성능을 기록하였으며, YouTube-VOS에서 평균 IoU 59.0과 F-측정치 71.7을 달성하였다.
• 엔드 투 엔드 미세조정을 통해 성능이 크게 향상되었으며, YouTube-VOS 검증 세트에서 평균 IoU는 57.3에서 60.2로, F-측정치는 68.4에서 73.0으로 상승하였다.
• 모든 미세조정이나 온라인 학습 없이도 DMM-Net은 SegTrack v2에서 경쟁 가능한 성능을 기록하여 강력한 일반화 능력을 입증하였다.
• 준감독 설정 하에서 DAVIS 2017에서 최고 성능을 기록하였으며, 온라인 적응 없이도 기존 방법들을 능가하였다.
• 개선 네트워크에서 2단계 이상의 편환은 수익 감소를 보이며 메모리 비용을 증가시키므로, 2~3단계가 최적임을 시사한다.
• 미분 가능한 매칭 레이어는 간단하게 구현 가능하며(파이토치 기준 50줄 이내), 기존 분할 프레임워크에 쉽게 통합할 수 있다.