[논문 리뷰] Holistically-Nested Edge Detection

Saining Xie, Zhuowen Tu|arXiv (Cornell University)|2015. 04. 24.

Advanced Neural Network Applications참고 문헌 36인용 수 308

한 줄 요약

Holistically-Nested Edge Detection (HED)는 이미지 간 엣지 예측을 위한 정확한 계층적, 다중 스케일 특징을 학습하기 위해 완전 컨volution 신경망과 깊이 있는 보조 출력을 사용하는 딥러닝 기반 엣지 검출 프레임워크이다. GPU에서 1장당 0.4초의 추론 속도로 BSD500(ODS F-score: 0.790) 및 NYU Depth(0.746)에서 최신 기준 성능을 달성하며, 이는 이전의 CNN 기반 방법들에 비해 정확성과 효율성 면에서 뚜렷한 승리를 거두었다.

ABSTRACT

We develop a new edge detection algorithm that tackles two important issues in this long-standing vision problem: (1) holistic image training and prediction; and (2) multi-scale and multi-level feature learning. Our proposed method, holistically-nested edge detection (HED), performs image-to-image prediction by means of a deep learning model that leverages fully convolutional neural networks and deeply-supervised nets. HED automatically learns rich hierarchical representations (guided by deep supervision on side responses) that are important in order to approach the human ability resolve the challenging ambiguity in edge and object boundary detection. We significantly advance the state-of-the-art on the BSD500 dataset (ODS F-score of .782) and the NYU Depth dataset (ODS F-score of .746), and do so with an improved speed (0.4 second per image) that is orders of magnitude faster than some recent CNN-based edge detection algorithms.

연구 동기 및 목표

• 자연 이미지에서 엣지 및 객체 경계 검출이라는 오랜 도전 과제를 해결하기 위해 풍부한 계층적 시각 표현을 학습하는 것.
• 일반적으로 높은 추론 시간이나 최적화되지 않은 정확도로 고통받는 기존의 CNN 기반 엣지 검출 방법들에 비해 성능과 속도를 향상시키는 것.
• 패치 기반 또는 다단계 처리를 피하고 완전 컨volution 네트워크를 통해 통합적인 이미지 간 예측을 가능하게 하는 것.
• 깊이 있는 보조 출력을 통한 다중 스케일 및 다중 수준의 특징 학습을 활용하여 엣지 국소화와 일관성을 향상시키는 것.
• RGB 입력과 융합되었을 때 엣지 검출 성능을 향상시키는 HHA 특징(깊이 인코딩)의 효과를 입증하는 것.

제안 방법

• HED는 VGG-16 네트워크를 영감으로 삼은 완전 컨볼루션 신경망(FCN) 아키텍처를 사용하며, 엔드 투 엔드 엣지 검출을 위해 최적화되어 있다.
• 여러 컨볼루션 레이어(conv2, conv3, conv4, conv5)에 깊이 있는 보조 출력을 통합하여 특징 학습을 이끌고 기울기 흐름을 향상시킨다.
• 각 보조 출력은 굵은 엣지 맵을 생성하며, 최종 예측은 학습된 융합 레이어를 통해 이러한 반응을 융합하여 도출된다.
• 모델은 모든 보조 출력과 최종 융합 레이어에서의 감독을 조합한 다중 작업 손실을 통해 엔드 투 엔드로 훈련된다.
• 깊이 향상 검출을 위해 HED는 HHA 특징(수평 기울기, 지면에서의 높이, 표면 법선 각도)을 사용하여 깊이 정보를 인코딩하며, 이는 RGB 입력과 병렬로 처리된다.
• 추론 중에는 RGB 및 HHA 예측의 평균을 사용하여 최종 엣지 맵을 생성함으로써 더 높은 강인성과 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 및 깊이 있는 보조 학습 네트워크 아키텍처가 고속 추론과 함께 최신 기준의 엣지 검출 성능를 달성할 수 있는가?
• RQ2 보조 출력을 통한 다중 스케일 및 다중 수준의 특징 학습은 단일 스케일 또는 비보조 학습 접근 방식에 비해 엣지 국소화와 일관성에 어떻게 기여하는가?
• RQ3 CNN 기반 프레임워크에서 깊이 있는 특징(HHA)을 딥 RGB 특징과 융합할 경우, 엣지 검출 성능 향상에 얼마나 기여하는가?
• RQ4 통합적인 이미지 감독을 통한 엔드 투 엔드 훈련은 패치 기반 또는 다단계 방법에 비해 더 나은 일반화와 엣지 일관성을 이끌어내는가?
• RQ5 융합 레이어를 통한 다중 스케일 반응 통합은 성능 및 강인성 측면에서 후기 융합 또는 초기 융합 전략에 비해 어떻게 비교되는가?

주요 결과

• HED는 BSDS500 데이터셋에서 ODS F-score 0.790을 달성하여 이전 최신 기준 방법들에 비해 뚜렷한 향상을 보였다.
• NYU Depth 데이터셋에서는 ODS F-score 0.746을 기록하여 깊이 인식 엣지 검출에 대한 강력한 일반화 능력을 입증했다.
• GPU에서는 2.5 FPS(1 FPS HHA 융합 시), CPU에서는 1장당 12초의 속도로 실행되어 실시간 응용에 실용적이다.
• RGB-only 검출에 비해 HHA 특징 사용이 성능 향상에 기여하였으며, RGB-HHA 융합 모델은 NYU Depth에서 ODS F-score 0.746을 달성했다.
• 깊이 있는 보조 학습은 성능 향상에 기여함을 보여주었으며, BSDS500에서 보조 학습이 있을 경우 ODS F-score 0.790에서 없을 경우 0.785로 떨어지는 것으로 나타났다.
• RGB 및 HHA 예측의 후기 융합이 평균 정밀도(AP = 0.840)에서 가장 높은 성능을 보였으며, 초기 융합 또는 단일 모odal 모델보다 뛰어났다.