[논문 리뷰] Combinatorial Optimization for Panoptic Segmentation: A Fully Differentiable Approach

Ahmed Abbas, Paul Swoboda|arXiv (Cornell University)|2021. 06. 06.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 페널티 최적화를 통한 완전 미분 가능한 프레임워크인 COPS를 제안한다. 이는 딥러닝 파이프라인에 조합 최적화 레이어를 통합하며, 특히 비대칭 다중방향 컷(AMWC) 문제를 적용한다. AMWC 솔버를 통해 기울기 역전파를 수행함으로써, 페널티 품질(PQ) 지표의 부드러운 대체 손실을 직접 최적화함으로써, 더 큰 아키텍처보다 단순한 ResNet-50 백본을 사용함에도 불구하고 Cityscapes 및 COCO에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a fully differentiable architecture for simultaneous semantic and instance segmentation (a.k.a. panoptic segmentation) consisting of a convolutional neural network and an asymmetric multiway cut problem solver. The latter solves a combinatorial optimization problem that elegantly incorporates semantic and boundary predictions to produce a panoptic labeling. Our formulation allows to directly maximize a smooth surrogate of the panoptic quality metric by backpropagating the gradient through the optimization problem. Experimental evaluation shows improvement by backpropagating through the optimization problem w.r.t. comparable approaches on Cityscapes and COCO datasets. Overall, our approach shows the utility of using combinatorial optimization in tandem with deep learning in a challenging large scale real-world problem and showcases benefits and insights into training such an architecture.

연구 동기 및 목표

• 딥 뉴럴 네트워크와 조합 후처리를 동시에 최적화하는 완전 미분 가능한 페널티 세그멘테이션 아키텍처를 개발하는 것.
• 최적화 레이어를 통해 미분 가능한 부드러운 대체 손실을 제안하여 페널티 품질(PQ) 지표를 직접 최적화하는 것.
• 피보팅 기반 역전파 기법을 확장하여, 하위최적의 히우리스틱 AMWC 솔버를 사용할 때도 안정적인 수렴을 가능하게 하여, CNN과 조합 솔버를 함께 엔드 투 엔드로 훈련하는 것.
• 다양화된 최적화와 PQ 인식 훈련을 통해 단순한 모델이 최신 기술 수준의 성능을 초월할 수 있음을 보여주는 것.

제안 방법

• 모델은 ResNet-50 백본을 사용하며, 두 개의 브랜치로 구성된다: 하나는 의미 세그멘테이션(클래스 비용)을 위한 것이고, 다른 하나는 유사도 예측(경계 비용)을 위한 것이다.
• 이 예측들은 비대칭 다중방향 컷(AMWC) 솔버에 입력되며, 의미적 정보와 경계 정보를 통합하여 페널티 레이블링을 조합 최적화 문제로 공식화한다.
• 훈련 손실로 페널티 품질 지표의 부드러운 대체 손실을 사용하여, 이산 최적화 출력을 통해 기울기 흐름을 가능하게 한다.
• 저자들은 하위최적의 히우리스틱 AMWC 솔버를 사용할 때도 안정적인 수렴을 가능하게 하기 위해, 기존의 피보팅 기반 역전파 방법 [64]을 개선한 강건한 변종을 도입한다.
• 훈련은 두 단계로 수행된다: 먼저 교차 엔트로피 손실을 사용한 사전 훈련을 수행하고, 이후에 미분 가능한 PQ 대체 손실을 사용한 미세조정을 수행한다.
• 이 방법은 Cityscapes와 COCO에서 평가되며, 추론 시간과 수렴 동작이 분석된다.

실험 결과

연구 질문

• RQ1 페널티 세그멘테이션을 위한 완전 미분 가능한 딥러닝 파이프라인에 조합 최적화를 효과적으로 통합할 수 있는가?
• RQ2 비최적의 히우리스틱 AMWC 솔버를 통해 기울기 역전파를 수행하면, 비미분 가능한 후처리를 사용하는 표준 훈련 방식보다 성능 향상을 이룰 수 있는가?
• RQ3 PQ 지표의 부드러운 대체 손실을 사용하여 최종 평가 지표를 직접 최적화할 수 있는가?
• RQ4 다양화된 최적화와 PQ 인식 손실을 사용할 경우, 더 단순한 모델(예: ResNet-50)이 더 큰 아키텍처를 초월할 수 있는가?

주요 결과

• AMWC 솔버를 통해 기울기 역전파가 가능한 완전 미분 훈련 기법은 비미분 기반 베이스라인 대비 Cityscapes 및 COCO에서 페널티 품질(PQ) 지표에 있어 뚜렷한 향상을 이끌어낸다.
• 더 큰 백본을 사용하지 않고도, 테스트 시간 증강 없이도 Panoptic-DeepLab 및 SMW와 같은 최신 기술 수준의 접근 방식을 초월하는 성능을 달성한다.
• 미분 가능한 PQ 대체 손실을 사용한 훈련은 24시간 만에 COCO 검증 세트에서 더 높은 PQ 점수를 달성하는 반면, 더 큰 배치 크기를 사용하는 베이스라인은 11일이 걸렸다.
• 강건한 역전파 기법 확장은 하위최적의 솔버를 사용할 때도 수렴성과 안정성을 향상시켜, 이산 출력을 통한 효과적인 최적화를 가능하게 한다.
• 이 방법은 다양한 최적화 기반 훈련을 통해 단순한 모델이 최신 기술 수준의 성능을 달성할 수 있음을 보여주며, 페널티 세그멘테이션 분야에서 더 깊은 네트워크가 필수적이라는 가정을 도전한다.