[논문 리뷰] SOGNet: Scene Overlap Graph Network for Panoptic Segmentation

Yibo Yang, Hongyang Li외 4명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 37인용 수 6

한 줄 요약

SOGNet는 카테고리, 기하학적 특징 및 외관 특징 기반의 관계 임베딩을 사용하여 명시적으로 오버랩을 모델링하고 해결하는 가역적 시나리오 오버랩 그래프 네트워크를 제안한다. 가역적 오버랩 해소 모듈을 도입하고 패노픽 감독을 활용함으로써 SOGNet은 COCO와 Cityscapes에서 최신 기술 수준의 성능을 달성하였으며, ResNet-101-FPN 백본을 사용해 COCO test-dev에서 47.8 PQ를 기록하여 COCO 2019 Innovation Award를 수상하였다.

ABSTRACT

The panoptic segmentation task requires a unified result from semantic and instance segmentation outputs that may contain overlaps. However, current studies widely ignore modeling overlaps. In this study, we aim to model overlap relations among instances and resolve them for panoptic segmentation. Inspired by scene graph representation, we formulate the overlapping problem as a simplified case, named scene overlap graph. We leverage each object's category, geometry and appearance features to perform relational embedding, and output a relation matrix that encodes overlap relations. In order to overcome the lack of supervision, we introduce a differentiable module to resolve the overlap between any pair of instances. The mask logits after removing overlaps are fed into per-pixel instance \verb|id| classification, which leverages the panoptic supervision to assist in the modeling of overlap relations. Besides, we generate an approximate ground truth of overlap relations as the weak supervision, to quantify the accuracy of overlap relations predicted by our method. Experiments on COCO and Cityscapes demonstrate that our method is able to accurately predict overlap relations, and outperform the state-of-the-art performance for panoptic segmentation. Our method also won the Innovation Award in COCO 2019 challenge.

연구 동기 및 목표

• 기존 방법에서 무시되는 패노픽 세그멘테이션 내 인스턴스 간 오버랩 영역을 명시적으로 모델링하고 해결하는 것.
• 패노픽 데이터셋에서 관계 애너테이션의 부재로 인해 직접적인 감독이 불가능한 오버랩 관계 문제를, 가역적 오버랩 해소 모듈을 통해 픽셀 단위 패노픽 감독을 활용하여 해결하는 것.
• 세 가지 관계 유형(해당 없음, 커버링, 커버드)을 가진 시나리오 오버랩 그래프로 오버랩 문제를 수식화하는 것.
• 예측된 관계의 정확도를 측정하기 위해 근사 진짜값 오버랩 관계를 통해 약한 감독을 생성하는 것.
• 종합적인 관계 추론을 엔드 투 엔드 학습 프레임워크에 통합하여 패노픽 세그멘테이션에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• SOGNet은 공통 백본(ResNet-FPN)을 사용하여 의미적 및 인스턴스 세그멘테이션을 동시에 수행한 후, 카테고리, 기하학적 특징 및 외관 특징를 기반으로 오버랩 관계를 인코딩하는 관계 임베딩 모듈을 적용한다.
• 관계 임베딩 출력은 오브젝트 쌍 간의 오버랩 관계를 명시적으로 표현하는 관계 행렬을 생성하며, 세 가지 유형으로 나뉜다: 오버랩 없음, 주어진(커버링), 목적어(커버드).
• 오버랩 해소 모듈은 마스크 로짓을 수정함으로써 임의의 두 인스턴스 간 오버랩을 가역적으로 해결하여, 패노픽 감독과 함께 엔드 투 엔드 학습이 가능하도록 한다.
• 패노픽 헤드는 해소된 마스크 로짓에 대해 픽셀 단위의 인스턴스 ID 분류를 수행하며, 전체 네트워크를 패노픽 애너테이션으로 감독한다.
• 예측된 관계의 정확도 평가를 위해 근사 진짜값 오버랩 관계를 생성하여 약한 감독을 제공한다.
• 세그멘테이션, 관계 임베딩, 오버랩 해소 구성 요소를 종합적으로 최적화하여 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 오브젝트 간 오버랩 관계를 명시적으로 모델링하면 패노픽 세그멘테이션 성능이 향상되는가?
• RQ2 패노픽 데이터셋에서 관계 애너테이션이 없기 때문에 직접적인 감독이 불가능한 상황에서 오버랩 관계는 어떻게 학습할 수 있는가?
• RQ3 가역적 오버랩 해소 모듈은 패노픽 세그멘테이션에서 관계 추론을 위한 효과적인 엔드 투 엔드 학습을 가능하게 하는가?
• RQ4 시나리오 오버랩 그래프 표현 방식은 복잡한 오버랩 장면에서 일반화 능력과 정확도를 얼마나 향상시키는가?
• RQ5 정량적 성능과 명시적 관계 예측 측면에서 SOGNet은 최신 기술 수준의 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• SOGNet은 ResNet-101-FPN 백본을 사용하여 COCO test-dev 세트에서 47.8 PQ를 기록하였으며, COCO 2019 챌린지에서 단일 모델로는 가장 높은 성능을 달성하였다.
• 동일한 백본을 사용할 경우 SOGNet은 AUNet보다 1.3% 높은 PQ, UPSNet보다 1.2% 높은 PQ를 기록하여 더 작은 백본임에도 불구하고 뛰어난 성능을 보였다.
• Cityscapes에서는 60.0 PQ를 기록하여 TASCNet과 UPSNet보다 각각 0.7% 높은 성능을 보였으며, 다양한 장면에 대한 강력한 일반화 능력을 입증하였다.
• 절단 분석 결과, 관계 임베딩 및 오버랩 해소 모듈 모두 성능 향상에 기여하며, PH2가 PH1보다 뛰어난 성능을 보였다.
• SOGNet은 오직 오버랩을 명시적으로 예측하고 해소하는 유일한 방법으로, 시각화 결과를 통해 테이블 위의 컵과 같은 오버랩 오브젝트를 뛰어나게 처리하는 것으로 확인되었다.
• 근사 진짜값을 활용한 정량적 검증을 통해 모델이 예측한 오버랩 관계의 정확도가 높다는 것이 확인되었다.