[논문 리뷰] Learning to Fuse Things and Stuff

Jie Li, Allan Raventos외 3명|arXiv (Cornell University)|2018. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 99

한 줄 요약

논문은 Things(인스턴스)와 Stuff(의미론적) 예측을 Things and Stuff Consistency(TASC) 제약으로 융합하는 엔드-투-엔드 팬토픽 분할 네트워크인 TASCNet을 제시하여, 단일 모델로 경쟁력 있는 성능을 달성한다.

ABSTRACT

We propose an end-to-end learning approach for panoptic segmentation, a novel task unifying instance (things) and semantic (stuff) segmentation. Our model, TASCNet, uses feature maps from a shared backbone network to predict in a single feed-forward pass both things and stuff segmentations. We explicitly constrain these two output distributions through a global things and stuff binary mask to enforce cross-task consistency. Our proposed unified network is competitive with the state of the art on several benchmarks for panoptic segmentation as well as on the individual semantic and instance segmentation tasks.

연구 동기 및 목표

• 의미론적 분할과 인스턴스 분할을 하나의 모델로 결합하는 팬토픽 분할에 대한 통합 접근 방식의 필요성을 제시한다.
• 공유 특성과 교차 작업 제약을 활용하여 개별 작업과 공동 팬토픽 출력의 성능을 향상시킨다.
• 학습 중 Things와 Stuff 출력의 정렬을 유지하는 미분 가능한 메커니즘(TASC)을 제안한다.
• Cityscapes, Mapillary Vistas, COCO 데이터셋에서의 효율성과 경쟁력 있는 성능을 보여준다.

제안 방법

• ResNet50 백본과 Feature Pyramid Network(FPN)을 사용하여 Things Head와 Stuff Head 간의 특징을 공유한다.
• Stuff Head를 구현하여 모든 Stuff 클래스와 필요에 따라 단일 'things' 클래스를 촘촘히 예측한다.
• RoIAlign 기반 풀링 전략을 사용한 Region-based CNN 헤드를 이용해 Things Head를 구현한다.
• 일관된 차원에서 두 작업의 이진 마스크 간 잔차를 미분 가능하게 최소화하는 Things and Stuff Consistency(TASC) 손실을 도입한다(Things의 RoI-Flatten 및 Stuff 마스크의 임계화 통해).
• 학습된 마스크의 가이드 하에 인스턴스 예측과 의미 예측을 결합하여 최종 팬토픽 출력을 생성하는 Mask-Guided Fusion을 적용한다.

실험 결과

연구 질문

• RQ1 하나의 공유 백본을 가진 단일 네트워크가 Things와 Stuff 간의 관계를 활용하여 팬토픽 분할을 개선할 수 있는가?
• RQ2 미분 가능한 TASC 제약을 통한 교차 작업 일관성 강요가 학습을 안정시키고 의미 분할 및 인스턴스 분할 작업의 정확도를 향상시키는가?
• RQ3 단일 네트워크 팬토픽 모델이 표준 벤치마크에서 재학습된 별도 모델의 후기 융합과 비교하여 어떠한 성능 차이를 보이는가?
• RQ4 Stuff 헤드의 온톨로지 선택(전체 대 축소) 가 최종 팬토픽 성능에 어떤 영향을 미치는가?

주요 결과

Method	Backbone	PQ	PQ th.	PQ st.	mIoU	AP
Kirillov et al [ 15 ]	R50+X101	61.2	54.0	66.4	N/A	36.4
TASCNet	R-50	59.3	56.3	61.5	78.1	37.6
TASCNet(M.)	R-50	60.4	56.1	63.3	78.7	39.09
Table 1 (Cityscapes) - TASCNet family variants	R-50	60.4	56.1	63.3	78.7	39.09

• TASCNet은 ResNet-50 백본으로 Cityscapes, Mapillary Vistas, COCO에서 경쟁력 있는 팬토픽 품질(PQ)을 달성한다.
• TASC 손실(lambda > 0)을 추가하면 비-TASC 기준선보다 PQ 및 관련 지표가 향상되며, lambda = 1에서 강력한 성능을 보인다.
• Stuff 헤드에서 전체 온톨로지(다수의 Stuff 클래스와 다수의 Thing 클래스를 모두 예측)는 Things를 단일 ‘thing’ 클래스로 축소하는 것보다 성능이 향상된다.
• Things와 Stuff 두 헤드를 함께 학습하는 공동 학습은 단계적 학습보다 더 나은 최소값으로 수렴하는 경향이 있다.
• Cityscapes에서 TASCNet 변형은 상태-최첨단 벤치마크와 비슷한 PQ를 달성하거나 근접한 수치를 보이며 파라미터 수가 현저히 적다.