[논문 리뷰] Multiview Cross-supervision for Semantic Segmentation

Yuan Yao, Hyun Soo Park|arXiv (Cornell University)|2018. 12. 04.

Advanced Vision and Imaging참고 문헌 60인용 수 3

한 줄 요약

이 논문은 레이블이 적은 데이터로도 정확도를 향상시키기 위해 비정상적인 시야 간의 3D 기하 일致성을 활용하는 다중 시야 상호보조 프레임워크를 제안한다. 에피포라 기하학과 삼각측량을 이용한 미분 가능 형태 믿음 전달을 통해 3D 재구성 없이도 엔드 투 엔드 학습이 가능하며, 사회적 영상 스트림에서 동물 및 인체 주제 분할과 같은 맞춤형 세분화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a semi-supervised learning framework for a customized semantic segmentation task using multiview image streams. A key challenge of the customized task lies in the limited accessibility of the labeled data due to the requirement of prohibitive manual annotation effort. We hypothesize that it is possible to leverage multiview image streams that are linked through the underlying 3D geometry, which can provide an additional supervisionary signal to train a segmentation model. We formulate a new cross-supervision method using a shape belief transfer---the segmentation belief in one image is used to predict that of the other image through epipolar geometry analogous to shape-from-silhouette. The shape belief transfer provides the upper and lower bounds of the segmentation for the unlabeled data where its gap approaches asymptotically to zero as the number of the labeled views increases. We integrate this theory to design a novel network that is agnostic to camera calibration, network model, and semantic category and bypasses the intermediate process of suboptimal 3D reconstruction. We validate this network by recognizing a customized semantic category per pixel from realworld visual data including non-human species and a subject of interest in social videos where attaining large-scale annotation data is infeasible.

연구 동기 및 목표

• 개인화되거나 비표준 카테고리에 대해 레이블이 부족한 상황에서 발생하는 과제를 해결하기 위해.
• 다중 카메라 시스템에서의 다중 시야 영상 스트림을 활용하여 3D 재구성 없이도 추가적인 보조 정보를 제공하기 위해.
• 3D 기하 제약 조건을 직접 분할 학습에 통합하는, 미분 가능하고 엔드 투 엔드로 학습 가능한 프레임워크를 개발하기 위해.
• 사전 학습 모델 없이도 다양한 카메라 설정, 네트워크 아키텍처, 세분화 카테고리에 유연하게 적용 가능한 배포를 가능하게 하기 위해.
• 교차 시야 일관성을 통해 미세한 신체 부위나 가림 영역과 같은 도전적인 케이스의 분할 정확도를 향상시키기 위해.

제안 방법

• 레이블이 있는 시야에서의 분할 신뢰도를 이용해 에피포라 기하학을 통해 레이블이 없는 시야의 분할을 예측하는 형태 믿음 전달을 도입한다. 이는 형태-실루엣 방식과 유사하다.
• 믿음 전달을 이중 단계 과정으로 모델링한다: 먼저 분할 확률의 삼각측량을 통한 3D 볼륨 재구성, 그 다음 목표 시야로의 2D 투영.
• 믿음 전달의 미분 가능 공식을 유도하여, 다양한 시야 간의 엔드 투 엔드 역전파 및 공동 최적화를 가능하게 한다.
• 스테레오 정렬을 활용해 2D 투영을 최대 풀링 연산으로 변환함으로써 계산 효율을 크게 향상시킨다.
• 다중 시야 영상 스트림을 입력으로 받는 트리플릿 네트워크 아키텍처를 설계하여, 다양한 시야 간의 기하학적 불일치를 최소화한다.
• 교차 시야 예측에서 유도된 사전 정보를 활용해 레이블이 없는 데이터를 증강 자료로 활용함으로써 수동 애너테이션 의존도를 낮춘다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터를 가진 다중 시야 영상 스트림을 기하학적 일관성에 기반해 세분화 정확도를 향상시키는 데 사용할 수 있는가?
• RQ2 명시적인 3D 재구성 없이도 엔드 투 엔드 학습이 가능한, 미분 가능한 형태 믿음 전달 메커니즘을 구성할 수 있는가?
• RQ3 레이블이 있는 시야의 수가 분할 경계의 타이트함과 전체 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 다양한 카메라 구성, 세분화 카테고리, 네트워크 아키텍처에 일반화 가능한가?
• RQ5 저자료 환경에서 기반 기반 데이터 증강 및 표준 지도 학습에 비해 교차 보조 학습이 더 우수한 성능을 내는가?

주요 결과

• 제안된 상호보조 방법은 반복 테스트된 모든 주제(원숭이, 춤추는 사람, 사회적 이벤트 포함)에서 기준 모델(증강 없음 및 사전 증강)보다 높은 평균 IoU와 픽셀 정확도를 달성한다.
• 레이블이 있는 시야의 수가 증가할수록 성능이 단조롭게 향상되며, 더 많은 시야가 레이블링될수록 상한과 하한 분할 경계 간 격차가 점차 0에 수렴한다.
• 원숭이 데이터셋에서 교차 보조 학습 모델은 기준 모델보다 유의미하게 뛰어난 성능을 보이며, 노이즈가 많은 사전 정보를 효과적으로 교정함을 시사한다.
• 근접한 시야 간에 유사한 시점이 많은 춤 데이터셋에서는, 사전 증강으로 인한 느슨한 경계를 효과적으로 조여서 기하학적 중복성에 대한 강건성을 입증한다.
• 정성적 결과에서는 경계선 및 돌출된 신체 부위(예: 발톱, 꼬리, 손, 다리)의 분할 정확도 향상이 확인되어 더 뛰어난 국소화 정확도를 입증한다.
• 사전 학습 모델 없이도 프레임워크가 초기 학습이 가능하며, 다양한 다중 카메라 시스템에서 작동함을 통해 강력한 일반화 능력과 유연성을 입증한다.