[논문 리뷰] Semi-convolutional Operators for Instance Segmentation

David Novotný, Samuel Albanie외 2명|arXiv (Cornell University)|2018. 07. 27.

Advanced Neural Network Applications참고 문헌 46인용 수 8

한 줄 요약

이 논문은 국소적이고 복합적인 특징과 전역적 공간 위치 정보를 결합함으로써 표준 컨볼루션 네트워크의 번역 불변성으로 인한 동일한 객체 인스턴스를 구분하지 못하는 한계를 극복하는 반-컨볼루션 연산자를 제안한다. 이 방법은 인스턴스 수준의 세분화 정확도를 향상시켜 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성하고, 생물학적 영상 해석에서 Mask R-CNN보다 뛰어난 결과를 내놓는다.

ABSTRACT

Object detection and instance segmentation are dominated by region-based methods such as Mask RCNN. However, there is a growing interest in reducing these problems to pixel labeling tasks, as the latter could be more efficient, could be integrated seamlessly in image-to-image network architectures as used in many other tasks, and could be more accurate for objects that are not well approximated by bounding boxes. In this paper we show theoretically and empirically that constructing dense pixel embeddings that can separate object instances cannot be easily achieved using convolutional operators. At the same time, we show that simple modifications, which we call semi-convolutional, have a much better chance of succeeding at this task. We use the latter to show a connection to Hough voting as well as to a variant of the bilateral kernel that is spatially steered by a convolutional network. We demonstrate that these operators can also be used to improve approaches such as Mask RCNN, demonstrating better segmentation of complex biological shapes and PASCAL VOC categories than achievable by Mask RCNN alone.

연구 동기 및 목표

• 표준 컨볼루션 네트워크의 번역 불변성으로 인해 동일한 객체 인스턴스를 구분하지 못하는 한계를 해결하기 위해.
• 밀도 있는 픽셀 임베딩이 인스턴스 세분화 작업에서 객체 인스턴스를 유일하게 식별할 수 있도록 하는 방법을 개발하기 위해.
• 기존 아키텍처인 Mask R-CNN와 같은 구조에 반-컨볼루션 연산자를 통합하여 복잡하고 겹치거나 관절이 있는 형태의 세분화를 향상시키기 위해.
• 반-컨볼루션 특징가 표준 컨볼루션 특징보다 인스턴스 수준의 세분화 기준에서 뛰어난 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 국소적 컨볼루션 특징 반응과 전역적 공간 좌표를 결합하여 번역 불변성을 깨뜨리는 반-컨볼루션 연산자를 제안한다.
• 컨볼루션 특징 맵과 공간 위치 인코딩을 덧셈 방식으로 혼합하는 임베딩 함수를 정의한다.
• 결과적으로 생성된 연산자가 후스 투표와 유사하며, 공간적으로 조절되는 양방향 커널으로 해석될 수 있음을 보여준다.
• 동일한 인스턴스에 속한 픽셀이 유사한 반응을 보일 수 있도록 엔드 투 엔드로 네트워크를 훈련시어 인스턴스 인식 픽셀 레이블링을 가능하게 한다.
• 표준 마스크 헤드를 공간 인식 특징 추출기로 교체함으로써 반-컨볼루션 임베딩을 Mask R-CNN에 통합한다.
• 학습된 임베딩을 사용해 픽셀 간 유사도를 계산하고, 이를 인스턴스 인식 세분화 마스크의 정밀화에 활용한다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션 네트워크는 조밀한 픽셀 임베딩 기반 인스턴스 세분화에서 동일한 객체 인스턴스를 신뢰성 있게 구분할 수 있는가?
• RQ2 CNN의 번역 불변성을 어떻게 완화시켜 겹치거나 반복되는 객체에 대해 고유한 인스턴스 임베딩을 가능하게 할 수 있는가?
• RQ3 효율성과 모oduularity를 유지하면서도 더 나은 인스턴스 분리가 가능한 반-컨볼루션 연산자를 설계할 수 있는가?
• RQ4 반-컨볼루션 특징는 PASCAL VOC나 생물학적 영상 데이터셋과 같은 도전적인 기준에서 얼마나 향상된 인스턴스 세분화 성능을 보일 수 있는가?

주요 결과

• 반-컨볼루션 임베딩은 PASCAL VOC 2012에서 인스턴스 세분화 AP를 0.412로 향상시켜 Mask R-CNN의 0.401을 초월한다.
• C. elegans 데이터셋에서 이 방법은 AP 0.569를 기록하여 Mask R-CNN 기준선인 0.559를 능가한다.
• 정확도 향상은 특히 높은 IoU 임계값에서 두드러지며 (예: AP@0.75: 0.511 vs. 0.502), 경계 정확도 향상이 확인된다.
• PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성했으며, 평균 APr는 69.9로 Mask R-CNN의 69.0을 상회한다.
• 반-컨볼루션 연산자는 겹치거나 관절이 있는 복잡한 생물학적 형태의 세분화를 더 잘 수행할 수 있다.
• 이 방법은 Mask R-CNN와 호환되며, RPN이나 탐지 헤드를 손상시키지 않고 다단계 훈련 전략을 통해 통합 가능하다.