[논문 리뷰] Learning Instance Occlusion for Panoptic Segmentation

Justin Lazarow, Kwonjoon Lee외 2명|arXiv (Cornell University)|2019. 06. 13.

Advanced Neural Network Applications참고 문헌 55인용 수 11

한 줄 요약

이 논문은 OCFusion을 제안하며, 이는 인스턴스 마스크 간의 이진 가림 관계를 학습하여 패ノ픽 세그멘테이션 융합을 향상시키는 경량 가림 헤드이다. 신뢰도 기반 정렬을 학습된 가림 순서로 대체함으로써, COCO에서는 +3 PQ 포인트의 최신 기술 수준 성능을 달성하고, Cityscapes에서는 2-5%의 추론 시간 증가만으로도 경쟁 가능한 결과를 얻는다.

ABSTRACT

Panoptic segmentation requires segments of both "things" (countable object instances) and "stuff" (uncountable and amorphous regions) within a single output. A common approach involves the fusion of instance segmentation (for "things") and semantic segmentation (for "stuff") into a non-overlapping placement of segments, and resolves overlaps. However, instance ordering with detection confidence do not correlate well with natural occlusion relationship. To resolve this issue, we propose a branch that is tasked with modeling how two instance masks should overlap one another as a binary relation. Our method, named OCFusion, is lightweight but particularly effective in the instance fusion process. OCFusion is trained with the ground truth relation derived automatically from the existing dataset annotations. We obtain state-of-the-art results on COCO and show competitive results on the Cityscapes panoptic segmentation benchmark.

연구 동기 및 목표

• 패ano픽 세그멘테이션 융합에서 검출 신뢰도와 천연적인 가림 순서 사이의 낮은 상관관계를 해결한다.
• 겹치는 객체 인스턴스 간의 명시적인 가림 관계를 모델링하여 인스턴스 융합을 향상시킨다.
• 특히 가려진 차량과 같은 어려운 시나리오에서 상호 클래스 및 내부 클래스 가림을 효과적으로 처리할 수 있도록 한다.
• 표준 벤치마크에서 분할 정확도를 크게 향상시키면서도 계산 오버헤드를 최소화한다.
• 기존의 Mask R-CNN 및 Panoptic FPN 파이프라인과 호환되는 플러그인 솔루션을 제공하여 간편한 통합을 가능하게 한다.

제안 방법

• 충분한 겹침(이격도 수치 > ρ)이 있는 인스턴스 마스크 제안 간의 이진 가림 관계를 예측하기 위해 경량 가림 헤드를 훈련한다.
• COCO 및 Cityscapes 애너테이션에서 자동으로 추출한 진짜 가림 관계를 사용하여 가림 헤드를 지도 학습한다.
• 가림 헤드를 Mask R-CNN 인스턴스 세그멘테이션 파이프라인에 통합하여 융합 과정에서 어느 마스크가 위에 있어야 할지 예측할 수 있도록 한다.
• 표준의 신뢰도 기반 융합 히우리스틱을 수정하여, 겹침을 해결할 때 검출 점수보다 가림 예측을 우선시하도록 한다.
• 가림 헤드를 임계치 IoU(ρ) 이상의 겹침 마스크 쌍에만 적용하여 계산 비용을 줄인다.
• 상호 클래스 및 내부 클래스 가림 처리에 대해 별도의 제어를 가능하게 하여, 복잡한 장면에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 객체 인스턴스 간의 명시적인 가림 관계를 학습하면 패노픽 세그멘테이션 융합의 품질이 향상되는가?
• RQ2 신뢰도 기반 정렬을 학습된 가림 순서로 대체하면, 최종 출력에서 겹치는 인스턴스를 더 잘 유지할 수 있는가?
• RQ3 유사한 외관과 복잡한 공간 배치로 인해 특히 도전적인 내부 클래스 가림에 대해 이 방법은 얼마나 효과적인가?
• RQ4 가림 헤드를 추가할 경우 계산 비용은 얼마나 되며, 성능 향상에 비해 최소한의 비용으로 유지될 수 있는가?
• RQ5 COCO 및 Cityscapes와 같은 다양한 데이터셋 간에 가림 헤드가 일반화될 수 있는가, 최소한의 재학습으로도 가능한가?

주요 결과

• OCFusion은 COCO에서 기준 모델 대비 3.0포인트 향상된 59.3 PQ를 기록하여 패노픽 품질(PQ)에서 3.0포인트 향상되었다.
• Cityscapes에서는 기준 모델 대비 0.7포인트 향상된 59.3 PQ를 달성했으며, 엔티티(AP)는 1.7포인트 향상되고 스태프(AP)는 변화가 없었다.
• 제거 분석 결과, 내부 클래스 가림 처리 기능을 활성화하면 Cityscapes에서 엔티티 AP가 1.7포인트 향상됨을 확인하여 그 중요성을 입증했다.
• OCOCO에서는 추론 시간이 2.0% 증가하고, Cityscapes에서는 4.7% 증가하여 매우 낮은 계산 오버헤드를 입증했다.
• 시각적 비교 결과, OCFusion은 신뢰도 기반 융합이 다른 부분을 뒤덮는 것과는 달리, 더 많은 인스턴스 세부 정보(예: 가슴 위에 있는 팔)를 유지함을 보였다.
• 가능한 한 수천 번의 반복만으로도 훈련된 가림 헤드가 효과를 발휘함으로써, 자동으로 수집된 가림 데이터셋에서 강력한 일반화 능력을 가짐을 시사했다.