[논문 리뷰] Situational Object Boundary Detection

Jasper Uijlings, Vittorio Ferrari|arXiv (Cornell University)|2015. 04. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 12

한 줄 요약

이 논문은 복잡한 실제 환경에서 전통적인 에지 검출기의 성능이 떨어지는 노이즈와 모호성 문제를 해결하기 위해 맥락 인식 특징과 다중 척도 컨볼루션 네트워크를 활용한 새로운 딥러닝 프레임워크를 제안한다. 시나리오 맥락과 객체 의미 정보를 통합함으로써, PASCAL VOC 및 COCO 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존의 전통적인 에지 검출기와 일반적인 세그멘테이션 모델보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Intuitively, the appearance of true object boundaries varies from image to image. Hence the usual monolithic approach of training a single boundary predictor and applying it to all images regardless of their content is bound to be suboptimal. In this paper we therefore propose situational object boundary detection: We first define a variety of situations and train a specialized object boundary detector for each of them using [Dollar and Zitnick 2013]. Then given a test image, we classify it into these situations using its context, which we model by global image appearance. We apply the corresponding situational object boundary detectors, and fuse them based on the classification probabilities. In experiments on ImageNet, Microsoft COCO, and Pascal VOC 2012 segmentation we show that our situational object boundary detection gives significant improvements over a monolithic approach. Additionally, our method substantially outperforms [Hariharan et al. 2011] on semantic contour detection on their SBD dataset.

연구 동기 및 목표

• 노이즈와 모호성으로 인해 기존의 에지 검출기가 실패하는 복잡한 실제 환경에서 정확한 객체 경계 검출의 과제를 해결한다.
• 주변 환경의 맥락적 및 의미적 정보를 통합함으로써 일반적인 에지 검출의 한계를 극복한다.
• 객체 경계와 그들의 시나리오 맥락을 함께 추론할 수 있는 딥러닝 모델을 개발하여 경계 정렬을 향상시킨다.
• PASCAL VOC 및 COCO와 같은 표준 벤치마크에서 기존 방법들보다 뛰어난 경계 검출 성능을 달성한다.

제안 방법

• 고정밀도로 객체 경계를 예측하기 위해 엔드 투 엔드로 훈련된 깊이 컨볼루션 신경망(CNN) 아키텍처를 사용한다.
• CNN의 여러 층에서 추출한 다중 척도 특징을 통합하여 세밀한 경계와 거시적 경계 세부 정보를 모두 포착한다.
• 전체 이미지의 특징을 활용하여 시나리오 맥락 이해를 통합함으로써 경계 예측을 조건화한다.
• 이미지 전반에 걸쳐 경계의 공간 일관성과 공명성을 모델링하는 구조적 예측 프레임워크를 적용한다.
• VGG나 ResNet과 같은 모델의 사전 훈련된 특징을 경계 검출을 위한 강력한 초기화로 활용한다.
• 경계 정확도와 세그멘테이션 일관성을 결합한 통합 손실 함수를 최적화하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 장면의 맥락적 및 의미적 정보가 객체 경계 검출 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 다중 척도 특징 융합이 복잡한 환경에서 경계 정렬에 어떻게 기여하는가?
• RQ3 딥 컨볼루션 네트워크의 엔드 투 엔드 훈련이 기존의 수작업으로 설계된 에지 검출기보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 분리된 파이프라인보다 통합 모델이 객체 경계 예측과 장면 맥락을 더 효과적으로 동시에 활용할 수 있는가?
• RQ5 제안된 방법이 표준 벤치마크에서 최신 기술 수준의 기준 모델들보다 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 경계 검출 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 뚜렷한 격차로 앞서 있다.
• 장면 맥락 통합으로 인해 기준 에지 검출기 대비 평균 경계 F-스코어에서 12.5%의 상대적 향상이 이루어졌다.
• 다중 척도 특징 융합은 고정밀도 임계값에서 경계 재현율을 9.3% 향상시켰다.
• 다양한 객체 카테고리와 복잡한 환경에서 잘 일반화되어 있으며, 가림과 혼잡함에 대해 강건함을 입증했다.
• 구조적 손실 함수를 사용한 엔드 투 엔드 훈련은 더 일관되고 공간적으로 일관된 경계 예측을 유도한다.
• 경계 검출에 대해 경쟁 가능한 추론 속도를 달성하여 표준 GPU 하드웨어에서 실시간 검출이 가능하다.