[논문 리뷰] BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation

Yi-Feng Chen, Guangchen Lin외 7명|arXiv (Cornell University)|2020. 03. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 12

한 줄 요약

BANet는 패ノ픽 세그멘테이션을 위한 플러그 앤 플레이형 막힘 처리 모듈을 갖춘 이중 방향 집계 네트워크를 제안한다. I2S 및 S2I 경로를 통해 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 기능 상호작용을 향상시키고, 저수준의 외관 특징을 사용하여 막힘 갈등을 해결한다. COCO에서 59.3%의 PQ를 달성하여, 양 모듈을 사용할 경우 ResNet-101-FPN 기준보다 1.0% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Panoptic segmentation aims to perform instance segmentation for foreground instances and semantic segmentation for background stuff simultaneously. The typical top-down pipeline concentrates on two key issues: 1) how to effectively model the intrinsic interaction between semantic segmentation and instance segmentation, and 2) how to properly handle occlusion for panoptic segmentation. Intuitively, the complementarity between semantic segmentation and instance segmentation can be leveraged to improve the performance. Besides, we notice that using detection/mask scores is insufficient for resolving the occlusion problem. Motivated by these observations, we propose a novel deep panoptic segmentation scheme based on a bidirectional learning pipeline. Moreover, we introduce a plug-and-play occlusion handling algorithm to deal with the occlusion between different object instances. The experimental results on COCO panoptic benchmark validate the effectiveness of our proposed method. Codes will be released soon at https://github.com/Mooonside/BANet.

연구 동기 및 목표

• 상향식 패노픽 세그멘테이션에서 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 이중 방향 기능 상호작용 부족 문제를 해결하기 위해.
• 기능 수준에서 두 작업의 상호보완적 특징을 활용하여 성능을 향상시키기 위해.
• 점수 기반 방법보다 겹치는 물체 간 막힘 갈등을 더 정확하게 해결하기 위해.
• 추가 학습이 필요 없는 플러그 앤 플레이형 막힘 처리 모듈을 설계하기 위해.
• 저수준 외관 특징이 픽셀-인스턴스 할당에 효과적인지 검증하기 위해.

제안 방법

• 두 모듈인 인스턴스-투-시맨틱(I2S) 및 시맨틱-투-인스턴스(S2I)를 갖춘 이중 방향 학습 파이프라인을 도입하여 교차 작업 기능 집계를 수행한다.
• 이중 선형 보간 기반의 ROIInlay 연산자를 제안하여 잘라낸 인스턴스 기능을 정확한 전체 이미지 공간으로 다시 매핑함으로써 정밀한 기능 융합을 달성한다.
• 학습이 필요 없는 막힘 처리 알고리즘을 설계하여 저수준 기능 공간에서의 외관 유사도를 활용해 막힌 픽셀을 가장 유사한 객체 인스턴스에 할당한다.
• 절댓값 성능 상한을 추정하기 위해 분석에서 지표 겹침 관계를 실제값으로 사용한다.
• 상향식 프레임워크를 적용하여 인스턴스 검출과 시맨틱 세그멘테이션을 이중 방향 기능 개선과 함께 공동 최적화한다.
• 재학습 없이도 어떤 상향식 패노픽 세그멘테이션 네트워크에나 플러그인 방식으로 막힘 처리 모듈을 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 이중 방향 기능 상호작용이 패노픽 세그멘테이션 성능 향상에 기여하는가?
• RQ2 저수준 외관 특징을 사용할 경우 검출 점수나 마스크 점수에 의존하는 것보다 더 나은 막힘 해결 성능을 달성하는가?
• RQ3 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 상호보완성 특성을 명시적으로 모델링하면 얼마나 많은 성능 향상이 이루어지는가?
• RQ4 실제 겹침 관계를 사용할 경우 막힘 처리 성능의 상한은 어느 정도인가?
• RQ5 제안된 막힘 처리 모듈은 다양한 백본 네트워크에서 효과적인가?

주요 결과

• 제안된 BANet는 COCO 패노픽 검증 세트에서 59.3%의 PQ를 달성하여, 이중 방향 집계 및 막힘 처리 모듈을 모두 사용할 경우 ResNet-101-FPN 기준보다 1.0% 향상된 성능을 기록한다.
• 막힘 처리 모듈을 ResNet-101-FPN에 적용했을 때 PQ가 1.0% 향상되어 다양한 백본에서 일관된 성능 향상을 입증한다.
• 실제 겹침 관계를 사용할 경우 PQ는 53.2%로 상승하여 현재의 막힘 처리 성능와 이상적인 성능 간에 여전히 큰 격차가 있음을 시사한다.
• 물체 카테고리에 대한 인식 능력 부족이 주요 병목으로 밝혀졌으며, 실제 레이블 할당 시 PQ_Th가 20% 이상 상승함을 확인하였다.
• 사물(things)을 소재(stuff)보다 우선시하는 융합 과정은 최적화되지 않았으며, 실제 세그멘테이션을 사용했을 때 PQ_Sf가 76.4%에 머무르는 것으로 나타나 융합 전략 개선 여지가 있음을 시사한다.
• 시각화 결과 이중 방향 아키텍처가 큰 잘못 분류 영역을 수정하고, 막힘 처리 모듈이 겹치는 물체 영역의 갈등을 해결하는 것으로 확인되었다.