[논문 리뷰] Fast Edge Detection Using Structured Forests

Piotr Dollár, C. Lawrence Zitnick|arXiv (Cornell University)|2014. 06. 20.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 선형 및 교차점과 같은 국소적 에지 구조를 활용하여 성능을 햖थ한, 구조적 숲을 사용한 빠르고 정확한 에지 검출 방법을 제안한다. 무작위 결정 트리 기반의 구조적 학습 문제로 에지 검출을 공식화함으로써, NYU Depth에서 7.5 FPS의 실시간 추론 성능을 달성하면서도 BSDS500 및 NYU Depth 데이터셋에서 최신 기준 성능을 확립하였으며, 다양한 데이터셋 간의 일반화 능력도 뛰어나다.

ABSTRACT

Edge detection is a critical component of many vision systems, including object detectors and image segmentation algorithms. Patches of edges exhibit well-known forms of local structure, such as straight lines or T-junctions. In this paper we take advantage of the structure present in local image patches to learn both an accurate and computationally efficient edge detector. We formulate the problem of predicting local edge masks in a structured learning framework applied to random decision forests. Our novel approach to learning decision trees robustly maps the structured labels to a discrete space on which standard information gain measures may be evaluated. The result is an approach that obtains realtime performance that is orders of magnitude faster than many competing state-of-the-art approaches, while also achieving state-of-the-art edge detection results on the BSDS500 Segmentation dataset and NYU Depth dataset. Finally, we show the potential of our approach as a general purpose edge detector by showing our learned edge models generalize well across datasets.

연구 동기 및 목표

• 국소적 에지 구조를 활용하여 계산 효율성이 높으면서도 높은 정확도를 유지하는 에지 검출 방법을 개발하기.
• 텍스처 및 환영적 에지 등을 놓치는 전통적인 기울기 기반 에지 검출기의 한계를 해결하기.
• 영상 분할 및 객체 검출과 같은 실용적인 컴퓨터 비전 응용 분야를 위한 실시간 에지 검출을 가능하게 하기.
• 재학습 없이도 다양한 데이터셋 간에 학습된 에지 모델의 일반화 능력을 입증하기.
• 상호의존적인 에지 패턴을 효과적으로 모델링할 수 있는 새로운 구조적 학습 프레임워크를 제안하기.

제안 방법

• 이미지 패치에서 무작위 숲을 사용하여 선형, T자 교차점 등의 구조적 국소 에지 마스크를 예측하는 방식으로 에지 검출을 공식화한다.
• 표준 정보 이득 평가 시 사용 가능한 이산 공간으로 구조적 에지 레이블을 매핑하는 새로운 방법을 도입한다.
• 다중 척도 강도 및 깊이 기울기(11개 채널)를 입력 특징으로 사용하며, RGB 및 깊이 기울기에서 유도된다.
• 무작위 숲을 사용해 각 패치의 에지 레이블을 예측하고, 이를 이미지 전반에 걸쳐 집계하여 전역 에지 맵을 구성한다.
• 지역적 색상 및 깊이 신호를 활용해 흐린 에지 맵을 정밀하게 다듬는 옵티널 샤프닝을 적용한다.
• BSDS500 및 NYU Depth 데이터셋에서 학습하며, 모델은 도메인 내 및 도메인 간 테스트를 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 선형 및 교차점과 같은 국소적 에지 패턴을 모델링함으로써, 무작위 숲 내의 구조적 학습이 에지 검출 정확도 향상에 기여하는가?
• RQ2 구조적 무작위 숲 접근 방식이 최신 기준 방법을 능가하면서도 실시간 성능을 달성할 수 있는가?
• RQ3 다양한 이미지 통계를 가진 다른 데이터셋 간에 학습된 에지 모델의 일반화 능력은 어느 정도인가?
• RQ4 강도 특징과 조합했을 때 깊이 정보가 에지 검출 성능에 기여하는 정도는 어떠한가?
• RQ5 통합된 엔드 투 엔드 학습 접근 방식이 기존의 기울기 기반 또는 수작업 특징 기반 방법을 능가할 수 있는가?

주요 결과

• 제안된 구조적 에지(Structured Edge, SE) 검출기는 BSDS500 데이터셋에서 ODS F-측정치 0.75를 기록하며, gPb 및 기타 최신 기준 방법들을 능가하는 최신 기준 성능을 확보하였다.
• NYU Depth 데이터셋에서 SE+SH 버전은 ODS F-측정치 0.65를 기록하였으며, gPb-owt-ucm 및 Silberman 등이 제안한 RGBD 분할 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 깊이 특징을 포함한 SE-RGBD 모델은 정밀도와 재현율 모두 향상되었으며, NYU Depth에서 정밀도 0.65일 때 재현율 0.84를 기록하였다.
• BSDS에서 학습한 모델이 NYU Depth에 잘 일반화되어, 성능 저하가 단 1점에 불과한 0.64 ODS를 기록하였으며, 이는 강력한 도메인 간 내성성(robustness)을 보여준다.
• NYU Depth 이미지에서 7.5 FPS로 실시간 성능을 달성하였으며, 고해상도 입력과 다중 척도 특징 계산에도 불구하고 성능을 유지하였다.
• 구조적 에지와 깊이 노말 기울기(NG)를 조합한 SE+NG+ 모델은 NYU Depth에서 Ren과 Bo의 SCG 방법을 포함한 모든 경쟁 방법보다 뛰어난 성능을 보였다.