[논문 리뷰] DeepEdge: A Multi-Scale Bifurcated Deep Network for Top-Down Contour Detection

Gedas Bertasius, Jianbo Shi외 1명|arXiv (Cornell University)|2014. 12. 02.

Medical Image Segmentation Techniques참고 문헌 32인용 수 13

한 줄 요약

DeepEdge는 깊이 학습 네트워크(KNet)에서 사전 훈련된 객체 수준 특징을 활용하여 하향식, 다중 척도 접근 방식을 통해 저수준 윤곽 예측을 향상시키는 윤곽 검출 방법을 제안한다. 이는 엣지 재현율과 정밀도를 동시에 최적화하기 위해 분기된 완전 연결 서브네트워크를 사용하며, 분류 및 회귀 헤드를 별도로 설계한다. 이로 인해 BSDS500에서 평균 정밀도 0.81과 F-스코어 0.77를 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

Contour detection has been a fundamental component in many image segmentation and object detection systems. Most previous work utilizes low-level features such as texture or saliency to detect contours and then use them as cues for a higher-level task such as object detection. However, we claim that recognizing objects and predicting contours are two mutually related tasks. Contrary to traditional approaches, we show that we can invert the commonly established pipeline: instead of detecting contours with low-level cues for a higher-level recognition task, we exploit object-related features as high-level cues for contour detection. We achieve this goal by means of a multi-scale deep network that consists of five convolutional layers and a bifurcated fully-connected sub-network. The section from the input layer to the fifth convolutional layer is fixed and directly lifted from a pre-trained network optimized over a large-scale object classification task. This section of the network is applied to four different scales of the image input. These four parallel and identical streams are then attached to a bifurcated sub-network consisting of two independently-trained branches. One branch learns to predict the contour likelihood (with a classification objective) whereas the other branch is trained to learn the fraction of human labelers agreeing about the contour presence at a given point (with a regression criterion). We show that without any feature engineering our multi-scale deep learning approach achieves state-of-the-art results in contour detection.

연구 동기 및 목표

• 전통적인 하향식 파이프라인을 뒤집어, 고수준 객체 특징을 저수준 윤곽 예측의 단서로 사용함으로써 윤곽 검출의 전통적 접근 방식을 변화시키는 것.
• 깊이 학습 아키텍처를 통해 다중 척도의 국소 및 전역 이미지 맥락을 통합함으로써 윤곽 검출 정확도를 향상시키는 것.
• 모서리 분류와 인간의 일致도 회귀를 동시에 최적화함으로써 정밀도와 재현율을 모두 향상시킬 수 있음을 보여주는 것.
• 사전 훈련된 깊이 특징이 수작업 특징 설계 없이도 윤곽 검출 성능을 크게 향상시킬 수 있음을 보여주는 것.

제안 방법

• Krizhevsky 등이 개발한 KNet의 첫 다섯 합성곱 레이어를 활용하여 ImageNet에서 사전 훈련된 객체 분류 작업을 통해 입력 이미지의 계층적 특징을 추출한다.
• 입력 이미지의 네 개의 병렬 다중 척도 복제본이 공유된 합성곱 특징 추출기로 처리되어 국소적 및 전역적 맥락을 포착한다.
• 추출된 특징은 두 개의 독립적으로 훈련된 브랜치를 가진 분기된 완전 연결 서브네트워크에 입력된다: 하나는 엣지 분류(이진 교차 엔트로피 손실)를 위한 것이고, 다른 하나는 인간 레이블러 일치도 회귀(MSE 손실)를 위한 것이다.
• 추론 단계에서는 두 브랜치의 스칼라 출력값을 평균하여 각 후보 점에 대한 최종 윤곽 점수를 산출한다.
• 후보 윤곽 점은 Canny 엣지 검출기를 사용하여 생성되며, 이들 주변의 패치는 네 가지 척도에서 처리되어 공간 맥락을 유지한다.
• 실행 시간 최적화를 위해 특징 인터폴레이션 전략을 제안하여 이미지당 KNet 평가 횟수를 60K에서 4로 감소시켰다.

실험 결과

연구 질문

• RQ1 사전 훈련된 깊이 네트워크에서 유도된 고수준 객체 특징이 저수준 윤곽 검출 성능 향상에 기여하는가?
• RQ2 국소적 및 전역 맥락을 통합하는 다중 척도 깊이 네트워크가 단일 척도 접근 방식보다 더 나은 윤곽 검출 성능을 내는가?
• RQ3 분기된 네트워크 아키텍처에서 분류 및 회귀 목표를 별도로 최적화함으로써 윤곽 검출의 정밀도와 재현율이 모두 향상되는가?
• RQ4 인간 레이블러 일치도를 회귀 타겟으로 사용할 경우, 전통적인 엣지 검출 기준에 비해 인간의 인지 인식을 얼마나 잘 모방하는가?

주요 결과

• DeepEdge는 BSDS500 데이터셋에서 최신 기술 수준의 평균 정밀도 0.81을 달성하여 이전 및 동시 다수의 방법들을 능가한다.
• 회귀 브랜치만으로도 평균 정밀도 0.80을 기록하여 높은 신뢰도를 가진 윤곽 픽셀을 효과적으로 식별함을 보여준다.
• 분류 브랜치만으로도 F-스코어 0.76를 기록하여 진짜 윤곽을 탐지하는 데 있어 높은 재현율과 강건성을 입증한다.
• 두 브랜치의 예측을 융합하면 F-스코어 0.77와 평균 정밀도 0.81을 기록하며, 각각의 브랜치만 사용할 경우보다 성능이 뛰어나다.
• 정성적 결과 분석에서 DeepEdge는 약한 윤곽(예: 기린 무늬)을 효과적으로 억제하면서도 강한 객체 경계선을 잘 유지하여 정답 레이블과 유사하게 작동함을 확인했다.
• 특징 맵 인터폴레이션 전략을 통합할 경우 계산 비용이 크게 감소하여 이미지당 KNet 평가 횟수를 60K에서 4로 줄여 CPU에서 실시간 추론이 가능해졌다.