[논문 리뷰] 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop

Qixun Wang, Xiaofeng Guo외 1명|arXiv (Cornell University)|2023. 02. 06.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 전역적 맥락을 트랜스포머 기반의 전역 관계 모듈을 통해 통합함으로써 관계 예측을 향상시키는 두 단계의 패ノ픽 색션 그래프 생성 프레임워크인 GRNet을 제안한다. 또한, 자기 정규화된 가짜 레이블을 사용한 소프트 레이블 감독을 통해 장기간 분포와 관계의 모호함을 해결한다. 이 방법은 OpenPSG 빌드 기준으로 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 한 단계 및 두 단계 방법을 모두 뛰어넘는다.

ABSTRACT

Panoptic Scene Graph (PSG) generation aims to generate scene graph representations based on panoptic segmentation instead of rigid bounding boxes. Existing PSG methods utilize one-stage paradigm which simultaneously generates scene graphs and predicts semantic segmentation masks or two-stage paradigm that first adopt an off-the-shelf panoptic segmentor, then pairwise relationship prediction between these predicted objects. One-stage approach despite having a simplified training paradigm, its segmentation results are usually under-satisfactory, while two-stage approach lacks global context and leads to low performance on relation prediction. To bridge this gap, in this paper, we propose GRNet, a Global Relation Network in two-stage paradigm, where the pre-extracted local object features and their corresponding masks are fed into a transformer with class embeddings. To handle relation ambiguity and predicate classification bias caused by long-tailed distribution, we formulate relation prediction in the second stage as a multi-class classification task with soft label. We conduct comprehensive experiments on OpenPSG dataset and achieve the state-of-art performance on the leadboard. We also show the effectiveness of our soft label strategy for long-tailed classes in ablation studies. Our code has been released in https://github.com/wangqixun/mfpsg.

연구 동기 및 목표

• 두 단계 방법에 전역적 맥락을 통합함으로써 한 단계 및 두 단계 파라다임 간의 성능 격차를 해소하는 것.
• 새로운 소프트 레이블 학습 전략을 통해 관계의 모호성과 술어 분류에서의 장기간 분포 편향을 완화하는 것.
• 트랜스포머 기반의 전역 관계 모듈을 사용하여 모든 쌍별 관계를 동시에 최적화함으로써 색션 그래프 생성 성능을 향상시키는 것.
• 표준 평가 프로토콜 하에서 OpenPSG 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• GRNet은 두 단계 파라다임을 사용한다: 먼저 Mask2Former을 오프더셔프 패노픽 세그멘테이터로 사용하여 객체 마스크와 RoI 특징을 추출한다.
• 객체 수준의 특징과 해당 마스크가 융합되어 클래스 임베딩을 갖춘 트랜스포머 인코더에 입력되어 모든 검출된 객체 간의 전역 관계를 모델링한다.
• 학습 중 모델 예측의 기하 평균(EMA)을 사용해 생성된 소프트 레이블을 활용해 관계 예측을 다중 클래스 분류 과제로 재정의한다.
• 자기 정규화된 소프트 레이블을 사용해 장기간 분포에서 기인하는 편향을 줄이고 누락된 애너테이션을 처리한다.
• 희귀 및 흔한 술어 카테고리 간의 학습 손실을 재균형화하기 위해 포칼 손실을 적용한다.
• 전체 모델은 50 에포크 동안 세그멘테이터를 사전 학습한 후, 추가 12 에포크 동안 엔드 투 엔드로 미세조정한다.

Figure 1: Panoptic Scene graph Generation . PSG presents a more comprehensive and clean scene graph representation, with more accurate localization of objects and including relationships with the background (known as stuff).

실험 결과

연구 질문

• RQ1 두 단계 패노픽 색션 그래프 생성 방법이 한 단계 방법의 성능을 따라잡기 위해 효과적으로 전역 맥락을 복구할 수 있는가?
• RQ2 자기 정규화된 가짜 레이블을 사용한 소프트 레이블 감독은 장기간 분포가 있는 술어 분류에서 관계 예측 성능을 어떻게 향상시키는가?
• RQ3 지역 특징 기반 방법과 비교했을 때 전역 관계 모듈은 먼 거리에 있는 객체 간 관계 예측 성능 향상에 얼마나 기여하는가?
• RQ4 소프트 레이블과 포칼 손실의 조합이 흔한 및 희귀 술어 카테고리 모두에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• Swin-B 백본과 Mask2Former 세그멘테이터를 사용한 GRNet은 OpenPSG 테스트 세트에서 55.0%의 mR@100 성능을 기록하여 이전의 모든 한 단계 및 두 단계 방법을 초월한다.
• 이전의 최고 수준의 두 단계 기반 모델(GPSNet)보다 mR@100 성능이 9.1%p 향상되었고, 최고의 한 단계 방법(PSGFormer)보다는 14.9%p 향상되었다.
• 제거 실험 결과, 소프트 레이블 학습이 장기간 분포의 술어 카테고리, 특히 학습 샘플 수가 100개 미만인 카테고리에서 성능 향상에 크게 기여하는 것으로 확인되었다.
• 포칼 손실의 사용은 희귀 술어에서의 성능을 추가로 향상시켜 흔한 카테고리와 희귀 카테고리 간의 성능 격차를 줄였다.
• 전역 관계 모듈은 지역 특징 기반 기반 모델 대비 mR@100에서 7.5%p의 절대적 성능 향상을 이끌어내어 전역 맥락의 관계 추론에서의 가치를 입증했다.
• Swin-B 백본을 사용한 모델는 40.8%의 mR@100 성능을 기록하여 깊이 있는 아키텍처에서의 우수한 확장성(스케일러빌리티)을 보였다.

Figure 2: The pipeline of our proposed GRNet . We follow two-stage paradigm where an off-theshelf panoptic segmentor is used to generate object mask and then pairwise relationship prediction between these predicted objects.