[논문 리뷰] InstanceCut: from Edges to Instances with MultiCut

Alexander Kirillov, Evgeny Levinkov외 3명|arXiv (Cornell University)|2016. 11. 24.

Advanced Neural Network Applications참고 문헌 48인용 수 23

한 줄 요약

InstanceCut는 CNN에서의 인스턴스 무관 세분화와 MultiCut 최적화를 통한 인스턴스 인식 에지 검출을 조합하는 새로운 인스턴스 인식 세분화 프레임워크를 제안한다. 단순함에도 불구하고, CityScapes 데이터셋에서 최신 기술 수준의 성능을 달성하며, 검증 세트에서 15.8 AP, 테스트 세트에서 13.0 AP를 기록하여 모든 공개된 방법을 능가한다.

ABSTRACT

This work addresses the task of instance-aware semantic segmentation. Our key motivation is to design a simple method with a new modelling-paradigm, which therefore has a different trade-off between advantages and disadvantages compared to known approaches. Our approach, we term InstanceCut, represents the problem by two output modalities: (i) an instance-agnostic semantic segmentation and (ii) all instance-boundaries. The former is computed from a standard convolutional neural network for semantic segmentation, and the latter is derived from a new instance-aware edge detection model. To reason globally about the optimal partitioning of an image into instances, we combine these two modalities into a novel MultiCut formulation. We evaluate our approach on the challenging CityScapes dataset. Despite the conceptual simplicity of our approach, we achieve the best result among all published methods, and perform particularly well for rare object classes.

연구 동기 및 목표

• 기존의 CNN 기반 인스턴스 세분화 방법의 한계를 해결하기 위해 새로운 모델링 패러다임을 제안한다.
• 유일한 인스턴스 레이블이나 복잡한 다중 손실 아키텍처를 요구하지 않고도 정확한 인스턴스 세분화를 가능하게 한다.
• 인스턴스 경계 검출과 전역 인스턴스 레이블링을 분리하여 희귀 객체 클래스를 효과적으로 처리한다.
• 모듈러하고 어떤 사전 학습된 세분화 네트워크와도 호환되는 프레임워크를 설계한다.
• 새로운 MultiCut 공식을 통해 인스턴스 경계와 세분화 레이블에 대한 전역 추론을 통해 높은 성능을 달성한다.

제안 방법

• 이 방법은 표준 완전 컨volution 네트워크(FCN)를 사용하여 픽셀 단위의 로그 확률을 기반으로 한 인스턴스 무관 세분화를 생성한다.
• 별도의 CNN을 학습하여 인접한 픽셀 간의 인스턴스 인식 에지 확률을 예측하며, 이는 잠재적인 인스턴스 경계를 나타낸다.
• 두 출력 결과—세분화 레이블과 경계 점수—는 전역적으로 일관된 인스턴스 분할을 최적화하기 위한 새로운 MultiCut 공식에 통합된다.
• MultiCut 공식은 검출된 경계로 둘러싸인 연결된 성분이 각각 하나의 인스턴스에 해당하도록 보장하며, 내부의 세분화 클래스 레이블이 일관되게 유지된다.
• 최적화 과정은 두 가지 유형의 경계 가중치를 가진 매aram터화된 비용 함수를 사용한다: β_small은 작은 객체에, β_big은 큰 객체(예: 트럭, 버스)에 적용되며, 교차 검증을 통해 조정된다.
• 최종 인스턴스 세분화는 검출된 경계와 세분화 레이블에 의해 정의된 연결된 성분으로 나누어 최적화된 MultiCut 문제를 푸는 방식으로 도출된다.

실험 결과

연구 질문

• RQ1 세분화와 에지 검출을 조합하는 단순하고 모듈러한 프레임워크가 복잡한 CNN 기반 인스턴스 세분화 아키텍처를 능가할 수 있는가?
• RQ2 MultiCut를 통한 전역 최적화가 개별 인스턴스 레이블링 없이도 일관되고 연결된 인스턴스 세그먼트를 효과적으로 생성할 수 있는가?
• RQ3 인스턴스 경계 검출과 전역 인스턴스 레이블링을 분리함으로써 희귀 객체 클래스에서의 성능 향상이 이루어지는가?
• RQ4 재학습 없이도 다양한 세분화 네트워크에 일반화 가능한가?
• RQ5 제안된 MultiCut 공식은 엔드 투 엔드 딥 러닝 접근법과 정확도와 견고성 측면에서 어떻게 비교되는가?

주요 결과

• LRR-4x 세분화 네트워크를 사용할 때 InstanceCut는 CityScapes 검증 세트에서 15.8 AP를 달성하여 이전에 공개된 모든 방법을 능가한다.
• 테스트 세트에서는 13.0 AP, 27.9 AP50%, 22.1 AP100m, 26.1 AP50m를 기록하여 모든 공개된 결과 중에서 최고 수준이다.
• 인스턴스 경계와 세분화 레이블의 분리된 학습 덕분에 희귀 객체 클래스에서 특히 뛰어난 성능을 보였다.
• 두 클래스 경계 가중치 체계(β_small 및 β_big)를 사용함으로써 성능 향상과 함께 파rameter 공간을 3차원으로 줄였다.
• 모듈러한 구조 덕분에 어떤 사전 학습된 세분화 네트워크와도 호환되며, Dilation10에서 LRR-4x로 전환했을 때 성능 향상이 확인되었다.
• 정성적 결과에서는 램프 기둥 등 장애물로 분리된 경우에도 같은 클래스의 여러 인스턴스(예: 자동차, 버스)를 정확히 세분화하는 것으로 나타났다.