[논문 리뷰] Learning to Cluster for Proposal-Free Instance Segmentation

Yen-Chang Hsu, Zheng Xu외 2명|arXiv (Cornell University)|2018. 03. 17.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 풀 컨volution 네트워크(FCNs)를 위한 새로운 엔드 투 엔드 학습 목표를 제안하여, 쌍별 픽셀 관계와 그래프 색칠 이론을 활용해 프로포절 없는 인스턴스 세그멘테이션을 수행한다. 이 방법은 네트워크가 픽셀에 클러스터 인덱스를 직접 할당할 수 있게 하여, 외부 데이터 없이 Cityscapes에서 15.1%의 AP를 달성하고 2017년 CVPR 자율 주행 챌린지 레인 검출 대회에서 2위를 기록한다.

ABSTRACT

This work proposed a novel learning objective to train a deep neural network to perform end-to-end image pixel clustering. We applied the approach to instance segmentation, which is at the intersection of image semantic segmentation and object detection. We utilize the most fundamental property of instance labeling -- the pairwise relationship between pixels -- as the supervision to formulate the learning objective, then apply it to train a fully convolutional network (FCN) for learning to perform pixel-wise clustering. The resulting clusters can be used as the instance labeling directly. To support labeling of an unlimited number of instance, we further formulate ideas from graph coloring theory into the proposed learning objective. The evaluation on the Cityscapes dataset demonstrates strong performance and therefore proof of the concept. Moreover, our approach won the second place in the lane detection competition of 2017 CVPR Autonomous Driving Challenge, and was the top performer without using external data.

연구 동기 및 목표

• 혼잡한 시나리오에서 음영과 변동하는 객체 수가 있는 경우, 특히 프로포절 생성이 비현실적인 상황에서 인스턴스 세그멘테이션의 과제를 해결하기 위해.
• 객체 프로포절이 필요 없도록, 엔드 투 엔드로 픽셀 단위의 클러스터링을 수행할 수 있도록 풀 컨볼루션 네트워크를 훈련시키기 위해.
• 학습 목표에서 그래프 색칠 이론을 기반으로 한 전략을 도입하여, 무제한 수의 인스턴스를 다룰 수 있도록 네트워크가 일반화될 수 있도록 하기 위해.
• 기존의 프로포절 없는 방법이 성능을 내지 못하는 다중 카테고리 및 고음영 데이터셋인 Cityscapes에서의 성능 향상을 위해.
• 외부 훈련 데이터에 의존하지 않고도 실시간 추론 능력과 강건성을 확보하기 위해.

제안 방법

• 동일한 인스턴스에 속한 픽셀이 유사한 특징을 가지도록 유도하기 위해, 쌍별 픽셀 관계를 감독으로 사용하는 새로운 학습 목표를 설정한다.
• 그래프 색칠 이론을 손실 함수에 통합하여, 먼 거리에 있는 객체들 간에도 클러스터 인덱스를 재사용할 수 있도록 하여, 무제한 수의 인스턴스를 처리할 수 있도록 한다.
• 다중 작업 헤드(인스턴스 ID 예측, 세그멘테이션, 객체 중심 회귀)를 갖춘 풀 컨볼루션 네트워크(FCN)를 훈련시킨다.
• 객체당 50개의 픽셀을 샘플링하고, 거리 기반 마진 256 픽셀과 상위 8개의 양성 쌍을 사용한 대비 손실 함수(식 8)를 적용한다.
• 연결된 성분 추출을 통해 후처리를 수행한 후, 평균 객체 중심이 20 픽셀 이내에 있는 세그먼트를 병합한다.
• 마스크 크기에 기반한 신뢰도 점수를 할당하여, 작은 마스크는 낮은 신뢰도를 가지게 하여 AP 평가 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 프로포절 없이 엔드 투 엔드로 픽셀 단위의 클러스터링을 수행할 수 있도록 풀 컨볼루션 네트워크를 훈련시킬 수 있는가?
• RQ2 그래프 색칠 이론을 딥 러닝 목표에 효과적으로 통합하여, 무제한 수의 인스턴스를 클러스터링할 수 있도록 할 수 있는가?
• RQ3 데이터 기반 클러스터링 접근법은 JGD와 같은 검색 기반 방법과 비교해 인스턴스 세그멘테이션 벤치마크에서 어떤 성능을 보이는가?
• RQ4 세그멘테이션 품질이 프로포절 없는 방법에서 최종 인스턴스 세그멘테이션 AP 점수에 얼마나 큰 영향을 미치는가?
• RQ5 제안된 방법은 실시간 성능을 달성하고 외부 훈련 데이터 없이도 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 Cityscapes 데이터셋에서 15.1%의 평균 정밀도(AP)를 달성하여, 유사한 그래프 레이블링 통찰을 공유하는 JGD 방법(9.8% AP)보다 뚜렷이 뛰어난 성능을 보였다.
• 외부 데이터를 사용하지 않고도 Cityscapes에서 프로포절 없는 접근법 중 네 번째로 높은 순위를 기록했으며, 2017년 CVPR 자율 주행 챌린지 레인 검출 대회에서 2위를 차지했다.
• 정답 세그멘테이션과 오라클 신뢰도 순위를 결합했을 때 AP 점수가 38.4%로 향상되어, AP가 세그멘테이션 품질에 매우 강하게 의존하고 있음을 시사했다.
• 네트워크는 약 55 FPS로 실시간 추론을 구현하여 실용적 구현 가능성을 입증했다.
• 실패 유형으로는 과세분화와 인접한 객체에 동일한 ID가 할당되는 현상이 있었지만, 객체 중심 예측 기반 병합 전략이 이 문제를 완화시켰다.
• 절단 분석 결과, 세그멘테이션 품질이 AP에 결정적인 영향을 미치며, 세그멘테이션 품질 향상에 따라 성능이 16.0%에서 28.4%로 증가함을 확인했다.