[논문 리뷰] Object Skeleton Extraction in Natural Images by Fusing Scale-associated Deep Side Outputs

Wei Shen, Kai Zhao외 4명|arXiv (Cornell University)|2016. 03. 31.

Advanced Neural Network Applications참고 문헌 31인용 수 23

한 줄 요약

이 논문은 다중 척도 특징 학습을 통해 각 네트워크 스테이지에 특정 스케일의 스켈레톤을 연관지어 타겟팅된 감독을 통해 자연 이미지에서 객체 스켈레톤을 추출하기 위해 스케일 연관 측면 출력을 갖춘 완전 컨volution 네트워크를 제안한다. 이 방법은 스테이지 간의 스케일별 반응을 융합하여 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 각각 SK506/WH-SYMMAX와 WH-SYMMAX/SK506에서 F-측정치가 0.692와 0.529를 기록하였다.

ABSTRACT

Object skeleton is a useful cue for object detection, complementary to the object contour, as it provides a structural representation to describe the relationship among object parts. While object skeleton extraction in natural images is a very challenging problem, as it requires the extractor to be able to capture both local and global image context to determine the intrinsic scale of each skeleton pixel. Existing methods rely on per-pixel based multi-scale feature computation, which results in difficult modeling and high time consumption. In this paper, we present a fully convolutional network with multiple scale-associated side outputs to address this problem. By observing the relationship between the receptive field sizes of the sequential stages in the network and the skeleton scales they can capture, we introduce a scale-associated side output to each stage. We impose supervision to different stages by guiding the scale-associated side outputs toward groundtruth skeletons of different scales. The responses of the multiple scale-associated side outputs are then fused in a scale-specific way to localize skeleton pixels with multiple scales effectively. Our method achieves promising results on two skeleton extraction datasets, and significantly outperforms other competitors.

연구 동기 및 목표

• 객체 부분의 척도와 구조가 다양하게 변하는 복잡한 자연 이미지에서 객체 스켈레톤 추출의 과제를 해결하기 위해.
• 각 픽셀의 다중 척도 특징에 의존하는 기존 방법들이 높은 계산 비용과 열악한 일반화 능력을 겪는 문제를 해결하기 위해.
• 완전 컨volution 아키텍처에서 척도 인식 특징 학습을 통해 국소적 및 전역적 맥락을 모델링하여 정확한 스켈레톤 추출을 가능하게 하기 위해.
• 추출된 스켈레톤을 활용해 대상 작업인 대칭 부분 분할 및 객체 제안 검출의 성능 향상시키기 위해.

제안 방법

• 각 네트워크 스테이지에 스케일 연관 측면 출력이 부착된 완전 컨볼루션 네트워크(FCN)가 설계되었다.
• 각 측면 출력은 특정 양자화된 스케일에 해당하는 진짜 스켈레톤 맵을 사용하여 감독되며, 해당 스테이지의 수신장 크기 이내의 스켈레톤 픽셀만 유지된다.
• 각 네트워크 스테이지의 수신장 크기가 순차적으로 증가하여, 다양한 내재적 스케일의 스켈레톤을 포착할 수 있도록 한다.
• 각 측면 출력은 스케일별로 특화된 점수 맵을 생성하고, 이를 스케일별로 융합하여 최종 스켈레톤 예측을 도출한다.
• 각 측면 출력이 스케일별로 특화된 진짜 스켈레톤 맵을 향해 최적화되는 다중 작업 학습 전략을 사용하여 다중 척도 특징 학습을 향상시킨다.
• 최종 스켈레톤 맵는 모든 측면 출력의 반응을 융합하여 얻어지며, 각 출력은 해당 스케일 범위에 따라 기여한다.

실험 결과

연구 질문

• RQ1 스케일 연관 측면 출력을 갖춘 완전 컨볼루션 네트워크가 자연 이미지에서 다중 척도 스켈레톤 특징을 효과적으로 모델링할 수 있는가?
• RQ2 각 네트워크 스테이지에 스케일별 진짜 스켈레톤을 감독하여 스켈레톤 추출의 정확성과 강건성을 향상시킬 수 있는가?
• RQ3 제안된 방법이 벤치마크 데이터셋에서 기존의 학습 기반 및 전통적 방법들보다 속도와 성능 면에서 모두 뛰어나게 성능을 냈는가?
• RQ4 추출된 스켈레톤이 대칭 부분 분할 및 객체 제안 검출과 같은 후속 작업을 얼마나 잘 지원할 수 있는가?

주요 결과

• SK506/WH-SYMMAX 데이터셋에서 제안된 방법은 F-측정치 0.692를 기록하여 다음으로 우수한 방법인 HED(0.637)를 크게 앞서나갔다.
• WH-SYMMAX/SK506 벤치마크에서 방법은 F-측정치 0.529를 기록하여 HED(0.492)와 MIL(0.387)을 모두 앞섰다.
• BSDS-Parts 데이터셋에서 대칭 부분 분할 작업에서, 이 방법은 Lee의 방법과 Levinshtein의 방법보다 더 높은 정밀도-재현율 곡선을 기록하여 뛰어난 부분 정렬 능력을 입증했다.
• 스켈레톤 기반의 부분 마스크와 Edge Boxes를 조합하여 효과적인 객체 제안 검출을 가능하게 하여, IoU 점수 향상과 더 정확한 제안을 이룩했다.
• 각 스켈레톤 픽셀에 대해 스케일을 예측할 수 있는 네트워크의 능력 덕분에 디스크 기반 확장 방법을 사용해 객체 부분을 신뢰성 있게 재구성할 수 있었으며, 정량적 신뢰도 점수로 검증되었다.
• 제거 실험을 통해 스케일별 감독과 다중 스테이지 융합이 성능 향상에 필수적임을 확인하였으며, 측면 출력 제거 시 성능 저하가 심각하게 발생했다.