[논문 리뷰] Instance-sensitive Fully Convolutional Networks

Jifeng Dai, Kaiming He외 3명|arXiv (Cornell University)|2016. 03. 29.

Advanced Neural Network Applications참고 문헌 1인용 수 62

한 줄 요약

이 논문은 인스턴스 수준의 세그멘테이션 프포절을 생성하기 위해 각 객체 인스턴스에 대한 상대적 위치의 히트맵을 인코딩하는 인스턴스 민감도 스코어 맵의 집합을 생성하는 완전 컨볼루션 네트워크인 InstanceFCN을 제안한다. 이전의 방법들이 고차원 마스크 레이어에 의존하는 것과는 달리, 국소 이미지의 일관성을 활용하여 해상도 의존성 레이어를 피함으로써, PASCAL VOC 및 MS COCO 벤치마크에서 최신 기술 수준의 성능을 달성하며 경쟁적인 mAP 및 리콜 지표를 확보한다.

ABSTRACT

Fully convolutional networks (FCNs) have been proven very successful for semantic segmentation, but the FCN outputs are unaware of object instances. In this paper, we develop FCNs that are capable of proposing instance-level segment candidates. In contrast to the previous FCN that generates one score map, our FCN is designed to compute a small set of instance-sensitive score maps, each of which is the outcome of a pixel-wise classifier of a relative position to instances. On top of these instance-sensitive score maps, a simple assembling module is able to output instance candidate at each position. In contrast to the recent DeepMask method for segmenting instances, our method does not have any high-dimensional layer related to the mask resolution, but instead exploits image local coherence for estimating instances. We present competitive results of instance segment proposal on both PASCAL VOC and MS COCO.

연구 동기 및 목표

• 표준 FCN이 단순히 의미적 세그먼테이션을 생성하는 데에 그치는 데에 기인한 한계를 해결하기 위해.
• 마스크 해상도에 의존하는 고차원 풀 커넥티드 레이어를 제거하여 일반화 능력을 저해하고 오버피팅 위험을 증가시키는 문제를 해결하기 위해.
• 상대적 위치 분류를 통해 인스턴스 후보를 생성하는 완전 컨볼루션형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 외부 프포절 방법에 의존하지 않고도 표준 벤치마크인 PASCAL VOC 및 MS COCO에서 인스턴스 프포절 품질을 향상시키기 위해.

제안 방법

• 각 객체 인스턴스에 대한 상대적 위치(예: 3×3 격자)에 대응하는 인스턴스 민감도 스코어 맵의 집합을 계산한다.
• 각 스코어 맵의 픽셀은 객체 인스턴스에 대한 공간적 관계(예: '상단-오른쪽' 또는 '중앙')를 나타내는 저차원 분류기로 기능한다.
• 간단한 어셈블리 모듈이 슬라이딩 윈도우 내에서 모든 스코어 맵의 예측을 통합하여 완전한 인스턴스 마스크 프포절을 생성한다.
• 마스크 해상도에 연결된 고차원 레이어가 필요 없이 국소 이미지 일관성을 활용하여 해상도 의존성 없이 인스턴스 형태를 추정한다.
• m²-d 풀 커넥티드 레이어를 사용하지 않고 오직 컨볼루션 연산만을 사용함으로써 엔드 투 엔드 학습 및 추론이 가능해진다.
• 상대적 위치 예측에 대한 픽셀 단위의 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습할 수 있으며, 의미적 인스턴스 세그멘테이션을 위한 후속 분류기와 조합 가능하다.

실험 결과

연구 질문

• RQ1 고차원 마스크 레이어에 의존하지 않고도 완전 컨볼루션 네트워크가 인스턴스 수준의 세그멘테이션 프포절을 생성할 수 있는가?
• RQ2 여러 개의 스코어 맵에서의 상대적 위치 분류가 표준 FCN 또는 DeepMask에 비해 인스턴스 프포절 품질을 어떻게 향상시키는가?
• RQ3 명시적인 마스크 해상도 의존성 없이 국소 이미지 일관성을 효과적으로 활용하여 객체 인스턴스를 추정할 수 있는가?
• RQ4 표준 벤치마크에서 MCG, DeepMask, MNC와 같은 최신 기술 프포절 방법과 비교해 본다면, 제안된 방법은 정확도와 효율성 측면에서 어떻게 성과를 내는가?

주요 결과

• PASCAL VOC 2012에서 InstanceFCN는 10개의 프포절로 AR@10이 16.6%를 기록하여 DeepMask(12.6%) 및 MNC(13.5%)를 초월한다.
• 100개의 프포절로 MS COCO에서 InstanceFCN는 AR@100이 31.7%를 기록하여 DeepMaskZoom(26.1%) 및 MNC(29.9%)를 뛰어넘는다.
• MS COCO에서 InstanceFCN는 AR@1000이 39.2%를 기록하여 모든 IoU 임계치에서 DeepMaskZoom(36.6%) 및 MNC(37.8%)를 초월한다.
• 인스턴스 의미적 세그멘테이션의 경우 InstanceFCN는 PASCAL VOC에서 43.0%의 mAP@0.7를 기록하여 비교된 방법들 중 두 번째로 높은 순위를 차지하며, 가장 가까운 경쟁자보다 1.5% 높다.
• 고차원 레이어가 없기 때문에 PASCAL VOC와 같은 소규모 데이터셋에서도 강력한 일반화 능력을 보이며, 오버피팅 위험도 낮다.
• MS COCO에서의 시각적 비교 결과, 특히 작은 객체나 겹치는 객체에 대해 DeepMask보다 더 많은 진짜값 인스턴스를 탐지한다.