[논문 리뷰] An End-to-End Network for Panoptic Segmentation

Huanyu Liu, Chao Peng외 5명|arXiv (Cornell University)|2019. 03. 12.

Advanced Neural Network Applications참고 문헌 47인용 수 22

한 줄 요약

이 논문은 공통 백본 특징과 새로운 공간 순위 모듈을 통해 겹치는 객체 예측을 해결하는 종단간 전처리 오clusion 인식 네트워크인 OANet을 제안한다. 이는 단일 모델 내에서 인스턴스 및 스타일 세그멘테이션을 통합한다. 이 방법은 ResNet-101를 사용하여 COCO 파노피틱 세그멘테이션에서 최고 성능을 기록했으며, 테스트-디브 세트에서 41.3 PQ 점수를 달성했다.

ABSTRACT

Panoptic segmentation, which needs to assign a category label to each pixel and segment each object instance simultaneously, is a challenging topic. Traditionally, the existing approaches utilize two independent models without sharing features, which makes the pipeline inefficient to implement. In addition, a heuristic method is usually employed to merge the results. However, the overlapping relationship between object instances is difficult to determine without sufficient context information during the merging process. To address the problems, we propose a novel end-to-end network for panoptic segmentation, which can efficiently and effectively predict both the instance and stuff segmentation in a single network. Moreover, we introduce a novel spatial ranking module to deal with the occlusion problem between the predicted instances. Extensive experiments have been done to validate the performance of our proposed method and promising results have been achieved on the COCO Panoptic benchmark.

연구 동기 및 목표

• 분리된 모델을 사용하는 전통적인 파노피틱 세그멘테이션 파이프라인에서 인스턴스 및 스타일 세그멘테이션을 위한 별도의 모델로 인해 발생하는 비효율성과 히우리스틱 병합 문제를 해결한다.
• 통합된 네트워크 아키텍처에서 인스턴스 및 스타일 세그멘테이션 브랜치 간 특징 공유를 통해 계산 오버헤드를 감소시킨다.
• 겹치는 객체 예측의 모호함을 해결하기 위해 인스턴스의 공간 순위를 학습하여 적절한 세그멘테이션 할당을 안내한다.
• 후처리 병합 없이 양질의 세그멘테이션 작업을 동시에 최적화하는 학습 가능한 종단간 전처리 학습 프로세스를 가능하게 한다.
• 맥락 인식 인스턴스 순서를 통합하여 COCO 파노피틱 세그멘테이션 벤치마크에서 성능을 향상시킨다.

제안 방법

• 공통 ResNet-50 또는 ResNet-101 백본과 각 작업을 위한 별도의 헤드 브랜치를 사용하여 인스턴스 및 스타일 세그멘테이션을 단일 네트워크에 통합한다.
• 공유된 특징의 공동 최적화를 가능하게 하기 위해 인스턴스 및 스타일 감독에서 유도된 병합 손실을 사용하여 네트워크를 종단간 전처리로 훈련시킨다.
• 공간적 맥락 기반으로 각 인스턴스의 순위 점수를 예측하는 공간 순위 모듈을 도입하여 가림 현상의 모호함을 해결한다.
• 장거리 맥락을 정확히 포착하기 위해 큰 수신 영역을 가진 1×7 및 7×1 컨볼루션 레이어를 사용한다.
• 예측된 순위 점수를 사용하여 겹치는 픽셀에 대해 어느 인스턴스가 할당되어야 하는지 결정하며, 히우리스틱 병합을 대체한다.
• 특징 표현을 향상시키고 검출 품질을 개선하기 위해 FPN 특징 피라미드에서 스킵 연결을 적용한다.

실험 결과

연구 질문

• RQ1 공통 특징을 사용하여 통합된 종단간 전처리 네트워크가 계산 비용을 줄이며 인스턴스 및 스타일 세그멘테이션을 효과적으로 통합할 수 있는가?
• RQ2 히우리스틱 후처리에 의존하지 않고 객체 인스턴스 간 겹치는 예측을 어떻게 해결할 수 있는가?
• RQ3 세그멘테이션 헤드 간 특징 공유가 전체 파노피틱 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ4 학습 가능한 공간 순위 메커니즘이 점수 기반 히우리스틱에 비해 가림 영역에서 예측 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법이 COCO 파노피틱 세그멘테이션 벤치마크에서 최고 성능을 기록하는가?

주요 결과

• OANet는 COCO 2018 테스트-디브 세트에서 41.3 PQ 점수를 기록하여 이전 최고 성능 방법을 초월했다.
• 공간 순위 모듈은 종단간 전처리 베이스라인 대비 PQ를 1.8% 향상시켰으며, PQ^Th는 2.9% 증가하여 인스턴스 수준의 가림 상황을 더 잘 처리함을 시사한다.
• ResNet-50 기준으로 인스턴스 및 스타일 세그멘테이션 헤드 간 특징 공유로 PQ가 0.7점 향상되었으며, ResNet-101 기준으로도 동일하게 0.7점 향상되어 공유 표현의 유용성을 입증한다.
• 공간 순위 모듈에서 1×1 또는 3×3 커널보다 큰 수신 영역(1×7 및 7×1 컨볼루션)을 사용할 경우 더 높은 성능을 기록했으며, 이는 PQ 39.0을 기록했다.
• 훈련 시 진짜 겹치는 사례를 기반으로 학습하는 것이 아니라, 겹치지 않는 애너테이션을 사용하면 성능 향상이 이루어지지 않으며 오히려 성능 저하가 발생함을 보여주어 네트워크가 실제 겹치는 경우를 학습함으로써 유익함을 입증한다.
• 시각화 결과는 공간 순위 모듈이 겹치는 인스턴스에 대해 정확히 우선순위를 할당함을 확인한다. 예를 들어, 붐비는 장면에서 사람을 넥타이 위에 정확히 우선순위를 매기는 등 히우리스틱 방법이 실패하는 상황에서 성능을 발휘한다.