[논문 리뷰] Bidirectional Graph Reasoning Network for Panoptic Segmentation

Yangxin Wu, Gengwei Zhang외 5명|arXiv (Cornell University)|2020. 04. 14.

Advanced Neural Network Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 그래프 컨volution 네트워크를 사용하여 전경 객체(things)와 배경 영역(stuff) 간의 이중 방향으로 학습 가능한 정보 흐름을 모델링하는 새로운 프레임워크인 이중 방향 그래프 추론 네트워크(BGRNet)를 제안한다. 인스턴스 및 시맨틱 브랜치에서 이미지별로 그래프를 구축하고 이중 방향 그래프 연결 모듈을 도입하여 의미적 관계와 동시 발생 관계를 포착함으로써, COCO 및 ADE20K 벤치마크에서 각각 50.8 PQ와 43.1 PQ의 최신 기준 성능을 달성한다.

ABSTRACT

Recent researches on panoptic segmentation resort to a single end-to-end network to combine the tasks of instance segmentation and semantic segmentation. However, prior models only unified the two related tasks at the architectural level via a multi-branch scheme or revealed the underlying correlation between them by unidirectional feature fusion, which disregards the explicit semantic and co-occurrence relations among objects and background. Inspired by the fact that context information is critical to recognize and localize the objects, and inclusive object details are significant to parse the background scene, we thus investigate on explicitly modeling the correlations between object and background to achieve a holistic understanding of an image in the panoptic segmentation task. We introduce a Bidirectional Graph Reasoning Network (BGRNet), which incorporates graph structure into the conventional panoptic segmentation network to mine the intra-modular and intermodular relations within and between foreground things and background stuff classes. In particular, BGRNet first constructs image-specific graphs in both instance and semantic segmentation branches that enable flexible reasoning at the proposal level and class level, respectively. To establish the correlations between separate branches and fully leverage the complementary relations between things and stuff, we propose a Bidirectional Graph Connection Module to diffuse information across branches in a learnable fashion. Experimental results demonstrate the superiority of our BGRNet that achieves the new state-of-the-art performance on challenging COCO and ADE20K panoptic segmentation benchmarks.

연구 동기 및 목표

• 기존의 편면 세그멘테이션 모델이 전경 객체( things)와 배경 영역(stuff) 간의 의미적 관계와 동시 발생 관계를 명시적으로 모델링하지 못하는 한계를 해결하기 위해.
• 인스턴스 및 시맨틱 세그멘테이션 브랜치 간의 상호 기능 강화를 통해 통합된 시나리오 이해를 향상시키기 위해.
• 기존의 편면 세그멘테이션 아키텍처에 그래프 추론을 통합할 수 있는 유연하고 엔드 투 엔드로 훈련 가능한 모듈을 개발하기 위해.
• 학습된 그래프 구조를 통한 이중 방향 정보 흐름을 활용하여 대규모 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 멀티헤드 어텐션을 사용하여 인스턴스 세그멘테이션 브랜치의 영역 특징에서 Thing-Graph를 구축하여 내부 및 상호 제안 관계를 모델링한다.
• 시맨틱 세그멘테이션 브랜치의 국소 특징에서 클래스 중심을 추출하여 Stuff-Graph를 생성하여 배경 카테고리를 표현한다.
• 어텐션 기반 인접 행렬을 사용하여 things와 stuff 그래프 간의 학습 가능한 이중 방향 특징 전파를 가능하게 하는 이중 방향 그래프 연결 모듈을 도입한다.
• 확산된 그래프 노드 특징을 원래 특징 공간으로 투영하여 양 브랜치의 시각적 표현을 개선한다.
• 동적 인접 행렬을 계산하기 위해 멀티헤드 어텐션을 사용하여 고정된 언어적 또는 의미적 유사도를 초월한 복잡한, 시나리오에 특화된 관계를 포착한다.
• 다양한 백본을 사용하는 기존의 이중 브랜치 편면 세그멘테이션 네트워크 위에 모듈을 스택하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 things와 stuff 간의 명시적 이중 방향 관계 모델링이 편면 세그멘테이션 성능 향상에 기여하는가?
• RQ2 학습 가능한 그래프 기반 특징 전파가 고정된 지식 기반 그래프 연결이나 단방향 연결에 비해 시나리오 수준의 맥락을 얼마나 잘 포착하는가?
• RQ3 의미적 유사도나 고정 지식 기반 그래프에 비해 어텐션 기반 그래프 구축 방식이 성능에 미치는 영향은 무엇인가?
• RQ4 이중 방향 정보 흐름이 인스턴스 및 시맨틱 브랜치 양쪽에서 단방향 향상보다 더 나은 특징 개선을 이끌어내는가?
• RQ5 클래스 중심 기반 stuff 그래프가 모호하거나 겹치는 배경 영역을 표현하는 데 얼마나 효과적인가?

주요 결과

• BGRNet은 COCO 편면 세그멘테이션 벤치마크에서 50.8 PQ의 새로운 최신 기준 성능을 달성했다.
• ADE20K 데이터셋에서 BGRNet은 43.1 PQ를 기록하여 새로운 SOTA 결과를 설정했다.
• 제안된 이중 방향 그래프 연결 모듈은 단방향 향상보다 0.3 PQ 높은 성능을 보이며 이중 방향 정보 흐름의 이점을 입증했다.
• 어텐션 기반 그래프 연결 메커니즘은 의미적 유사도 기반 연결 방식(31.5 PQ)보다 뛰어난 31.8 PQ 성능을 기록했다.
• 제거 분석 결과, things에 대한 어텐션 기반 그래프 구축과 stuff에 대한 클래스 중심 기반 그래프 구축 방식이 성능과 계산 비용 간의 최적의 균형을 이룬다.
• 시각화 결과, 클래스 중심이 모호하거나 경계가 흐린 경우에도 국소 특징 개선을 효과적으로 이끌어내는 데 기여함을 확인했다.