[논문 리뷰] Learning to Refine Object Segments

Pedro O. Pinheiro, Tsung-Yi Lin외 2명|arXiv (Cornell University)|2016. 03. 29.

Advanced Neural Network Applications참고 문헌 31인용 수 60

한 줄 요약

이 논문은 코arse 마스크 예측을 하층의 특징을 사용하여 보정하는 상향식 정밀화 기반의 새로운 접근법인 SharpMask을 제안한다. 이는 피드포워드 컨volution 네트워크의 성능을 햖스터링하여 객체 인스턴스 세그멘테이션을 향상시킨다. 점차 공간 해상도를 복원하는 정밀화 모듈을 반복적으로 스택함으로써, SharpMask는 객체 제안 생성 분야에서 최신 기술 수준의 성능을 달성한다. 평균 재현율은 10–20% 향상되었고, 0.8초 이내로 이미지당 처리 속도가 50% 빨라져 DeepMask보다 빠르다.

ABSTRACT

Object segmentation requires both object-level information and low-level pixel data. This presents a challenge for feedforward networks: lower layers in convolutional nets capture rich spatial information, while upper layers encode object-level knowledge but are invariant to factors such as pose and appearance. In this work we propose to augment feedforward nets for object segmentation with a novel top-down refinement approach. The resulting bottom-up/top-down architecture is capable of efficiently generating high-fidelity object masks. Similarly to skip connections, our approach leverages features at all layers of the net. Unlike skip connections, our approach does not attempt to output independent predictions at each layer. Instead, we first output a coarse `mask encoding' in a feedforward pass, then refine this mask encoding in a top-down pass utilizing features at successively lower layers. The approach is simple, fast, and effective. Building on the recent DeepMask network for generating object proposals, we show accuracy improvements of 10-20% in average recall for various setups. Additionally, by optimizing the overall network architecture, our approach, which we call SharpMask, is 50% faster than the original DeepMask network (under .8s per image).

연구 동기 및 목표

• 최근 풀링으로 인해 공간 세부 정보를 상실하는 경향이 있는 컨volution 네트워크에서 고해상도의 정밀한 객체 마스크를 생성하는 데 도전한다.
• 각 레이어에서 독립적으로 예측을 수행하는 표준 스킵 커넥션의 한계를 극복하며, 객체 인스턴스를 구분하는 데 부적합한 점을 해결한다.
• 상단 레이어의 고수준 의미 정보와 하단 레이어의 저수준 공간 세부 정보를 효율적으로 융합하는 방법을 개발한다.
• 상향식 방식으로 코어스 마스크 인코딩을 정밀화함으로써 객체 제안 생성을 향상시켜, 인스턴스 세그멘테이션에 활용한다.
• 기존 최신 기술 수준의 방법들인 DeepMask와 RPN보다 더 높은 정확도와 더 빠른 추론 속도를 동시에 달성한다.

제안 방법

• 고수준 특징을 사용하여 피드포워드 단계에서 코어스 마스크 인코딩을 먼저 생성하는 하향식/상향식 아키텍처를 제안한다.
• 상향식 마스크 인코딩과 하단 레이어의 하향 특징을 조합하여 풀링 효과를 역전시키는 정밀화 모듈을 도입한다. 이를 통해 더 높은 해상도의 마스크 출력을 생성한다.
• 다중 정밀화 모듈을 스택하여, 각 모듈이 점차 낮아지는 레이어의 특징을 통합함으로써 마스크 인코딩의 공간 해상도를 두 배로 증가시킨다.
• 정밀화 모듈이 완전히 미분 가능하고 효율적이도록 설계하여, 엔드 투 엔드 학습과 빠른 추론을 가능하게 한다.
• 겹치는 공간 윈도우 간에 스킵 특징을 공유하는 방식으로 모델을 재구성함으로써 더 효율적인 구현을 도모한다.
• DeepMask 프레임워크에 이 방법을 적용하여, 정밀도가 높고 더 빠른 객체 제안 네트워크인 SharpMask를 도출한다.

실험 결과

연구 질문

• RQ1 각 레이어에서 독립적인 예측에 의존하지 않고도, 상향식 정밀화 메커니즘이 피드포워드 CNN이 생성하는 객체 마스크의 정밀도를 향상시킬 수 있는가?
• RQ2 인스턴스 세그멘테이션 작업에서 스킵 커넥션 대비 제안된 정밀화 접근 방식은 성능과 효율성 면에서 어떻게 비교되는가?
• RQ3 상향식 정밀화가 평균 재현율과 IoU 임계치 측면에서 객체 제안 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 기존의 객체 제안 네트워크인 DeepMask에 효율적으로 정밀화 메커니즘을 통합할 수 있으며, 추론 시간을 줄일 수 있는가?
• RQ5 이 정밀화 방법은 객체 제안 생성을 넘어 다른 픽셀 수준의 레이블링 작업으로 일반화될 수 있는가?

주요 결과

• SharpMask는 원래의 DeepMask 네트워크 대비 다양한 설정에서 평균 재현율을 10–20% 향상시켰다.
• 이미지당 약 500개의 제안만을 사용하여 COCO 검증 세트에서 28.0 AP를 기록했으며, 이는 SelSearch보다 5 AP 높은 성능이다.
• VGG 분류기와 함께 사용했을 때, SharpMask는 COCO 테스트-Dev에서 25.2 AP를 기록하여 RPN 및 SelSearch 기반 모델을 모두 초월했다.
• 2015년 COCO 검출 대회에서 SharpMask+MPN 앙상블 모델은 경계 박스 기준 33.5 AP, 세그멘테이션 기준 25.1 AP를 기록하여 2위를 차지했다.
• SharpMask는 이미지당 0.8초 이내로 실행되어 원래의 DeepMask 네트워크 대비 50% 빠른 성능을 보였다.
• 다시 설계된 모델 아키텍처는 겹치는 공간 윈도우 간에 스킵 특징을 공유함으로써 성능을 유지하면서도 더 높은 효율성을 달성했다.