[논문 리뷰] Instance Segmentation by Deep Coloring

V. A. Kulikov, Victor Yurchenko외 1명|arXiv (Cornell University)|2018. 07. 26.

Industrial Vision Systems and Defect Detection참고 문헌 30인용 수 29

한 줄 요약

이 논문은 딥 컬러링(Deep Coloring)을 제안하며, 고정된 색상 레이블 집합에 픽셀을 할당하도록 학습하는 컨볼루션 네트워크를 통해 인스턴스 세그멘테이션을 세그멘테이션으로 축소하는 새로운 방법을 제시한다. 학습 중에는 인스턴스를 동적으로 색칠하여 세그멘테이션 손실을 최소화하면서 인접한 객체가 서로 다른 색상을 가지도록 보장한다; 추론 시에는 연결된 성분 분석을 통해 개별 인스턴스를 복구한다. 이 방법은 표준 세그멘테이션 아키텍처를 사용하여 시티스케이프, CVPPP, 그리고 대장균 미세현미경 데이터셋에서 경쟁적인 성능을 달성한다.

ABSTRACT

We propose a new and, arguably, a very simple reduction of instance segmentation to semantic segmentation. This reduction allows to train feed-forward non-recurrent deep instance segmentation systems in an end-to-end fashion using architectures that have been proposed for semantic segmentation. Our approach proceeds by introducing a fixed number of labels (colors) and then dynamically assigning object instances to those labels during training (coloring). A standard semantic segmentation objective is then used to train a network that can color previously unseen images. At test time, individual object instances can be recovered from the output of the trained convolutional network using simple connected component analysis. In the experimental validation, the coloring approach is shown to be capable of solving diverse instance segmentation tasks arising in autonomous driving (the Cityscapes benchmark), plant phenotyping (the CVPPP leaf segmentation challenge), and high-throughput microscopy image analysis. The source code is publicly available: https://github.com/kulikovv/DeepColoring.

연구 동기 및 목표

• 기존 방법보다 더 단순하고 빠른 엔드 투 엔드 피드포워드 인스턴스 세그멘테이션 모델을 훈련하는 데 도전한다.
• 컨볼루션 네트워크에서 일관된 인스턴스 순서가 부족한 문제를 해결하기 위해 학습 중에 동적 색칠 메커니즘을 도입한다.
• 간단한 축소를 통해 표준 세그멘테이션 아키텍처(예: U-Net, PSPNet)를 인스턴스 세그멘테이션에 사용할 수 있도록 한다.
• 아키텍처의 복잡성이나 순환 구조 없이 다양한 인스턴스 세그멘테이션 벤치마크에서 높은 성능을 달성한다.

제안 방법

• 객체 인스턴스를 나타내기 위해 고정된 수의 출력 채널(색상)을 세그멘테이션 네트워크에 사용한다.
• 세그멘테이션 손실을 최소화하면서 인접한 인스턴스가 서로 다른 색상을 가지도록 보장하는 규칙를 사용해 학습 중에 인스턴스에 색상을 동적으로 할당한다.
• 공간적으로 인접한 픽셀이 서로 다른 인스턴스에 속할 경우에 서로 다른 색상 레이블을 가지도록 유도하는 그래프 색칠 기반의 손실 함수를 적용한다.
• 픽셀 수준의 소프트맥스 출력에 표준 크로스 엔트로피 손실을 사용하여 네트워크를 엔드 투 엔드로 학습한다.
• 추론 시에는 예측된 색상 맵에 대해 연결된 성분 분석을 적용하여 개별 인스턴스를 복구한다.
• 융합 전략: 성능 향상을 위해 추론 시 세그멘테이션 헤드를 재학습하지 않고 사전 학습된 PSPNet으로 교체한다.

실험 결과

연구 질문

• RQ1 고정된 색상 레이블 집합을 사용하여 인스턴스 세그멘테이션을 효과적으로 세그멘테이션으로 축소할 수 있는가?
• RQ2 학습 중에 실시간으로 색칠하는 동적 방법이 명시적 인스턴스 감독 없이도 정확한 인스턴스 복구를 가능하게 하는가?
• RQ3 제안된 방법이 표준 세그멘테이션 아키텍처를 사용하여 다양한 인스턴스 세그멘테이션 벤치마크에서 경쟁적인 성능을 달성하는가?
• RQ4 이 방법은 자율주행, 식물 형질 분석, 그리고 현미경 영상과 같은 다양한 도메인으로 일반화 가능한가?
• RQ5 AP 및 mIoU 측면에서 이 방법의 성능이 최신 기술 수준의 인스턴스 세그멘테이션 모델과 비교해 어떻게 되는가?

주요 결과

• 딥 컬러링 방법은 U-Net 백본을 사용하여 시티스케이프 테스트 세트에서 평균 정밀도(mAP) 25.2를 달성하며, 여러 이전 방법들을 능가한다.
• 사전 학습된 PSPNet 세그멘테이션 헤드와 융합한 경우, 재학습 없이도 시티스케이프에서 mAP 25.2를 기록하여 최소한의 아키텍처 변경으로도 뛰어난 성능을 보였다.
• CVPPP 잎 세그멘테이션 챌린지에서, 이 방법은 작고 빽빽이 밀려 있는 장면에서도 많은 수의 인접한 잎을 성공적으로 세그멘테이션했다.
• 이 방법은 고속도의 현미경 영상에 잘 일반화되어, 대량의 인스턴스(예: E. coli 데이터셋)를 효과적으로 처리할 수 있었다.
• 이 방법은 표준 세그멘테이션 아키텍처와 엔드 투 엔드 학습만을 사용하면서도 세 가지 벤치마크 전반에서 경쟁적인 성능을 달성했다.
• 절단 실험 결과, 단일 헤드 세그멘테이션 모델에 비해 색상 + 세그멘테이션 헤드의 이중 헤드 아키텍처가 백본 용량을 공유함에도 불구하고 인스턴스 세그멘테이션 AP를 향상시켰다.