[논문 리뷰] CASENet: Deep Category-Aware Semantic Edge Detection

Zhiding Yu, Feng Chen외 2명|arXiv (Cornell University)|2017. 05. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 25

한 줄 요약

CASENet는 다중 레이블 손실을 통해 분류별 에지 헤드 간에 저수준 특징을 공유하고 융합하는 새로운 스킵 레이어 설계를 사용하여 분류 인식형 의미 에지 검출을 위한 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 이 방법은 SBD와 Cityscapes에서 최신 기준을 초월하는 성능을 기록하며, 평균 F-측정치와 평균 정밀도 측면에서 기존 방법들보다 유의미한 개선을 이룬다.

ABSTRACT

Boundary and edge cues are highly beneficial in improving a wide variety of vision tasks such as semantic segmentation, object recognition, stereo, and object proposal generation. Recently, the problem of edge detection has been revisited and significant progress has been made with deep learning. While classical edge detection is a challenging binary problem in itself, the category-aware semantic edge detection by nature is an even more challenging multi-label problem. We model the problem such that each edge pixel can be associated with more than one class as they appear in contours or junctions belonging to two or more semantic classes. To this end, we propose a novel end-to-end deep semantic edge learning architecture based on ResNet and a new skip-layer architecture where category-wise edge activations at the top convolution layer share and are fused with the same set of bottom layer features. We then propose a multi-label loss function to supervise the fused activations. We show that our proposed architecture benefits this problem with better performance, and we outperform the current state-of-the-art semantic edge detection methods by a large margin on standard data sets such as SBD and Cityscapes.

연구 동기 및 목표

• 에지 픽셀이 동시에 여러 객체 분류에 속할 수 있는 다중 레이블 의미 에지 검출 문제에 대응하기 위해.
• 의미 클래스 간에 공유되는 저수준 특징을 활용하여 분류별 에지 활성화를 모델링하여 에지 검출 정확도를 향상시키기 위해.
• 에지 검출과 동시에 여러 의미 분류에 에지를 할당하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• SBD 및 Cityscapes와 같은 표준 벤치마크에서 기존 최신 기술을 초월하기 위해.
• 정확하고 분류 인식형 에지 지도를 제공하여 후속 비전 작업에서 더 나은 성능을 달성하기 위해.

제안 방법

• 분류별 에지 헤드가 동일한 저수준 컨볼루션 특징 세트를 공유하고 융합하는 내장형 스킵 레이어 아키텍처를 제안한다.
• 융합된 활성화를 감독하기 위해 다중 레이블 손실 함수를 도입하여 각 에지 픽셀이 여러 의미 클래스와 연관될 수 있도록 한다.
• 계층적 특징을 추출하기 위해 ResNet을 백본 네트워크로 사용하며, 스킵 연결을 통해 다중 해상도 특징 융합을 가능하게 한다.
• 이중 브랜치 설계를 적용: 하나는 분류별 에지 예측을 위한 것이고, 다른 하나는 특징 공유를 위한 것으로, 특징 활용도를 향상시킨다.
• 다중 레이블 손실을 사용하여 모든 네트워크 파rameter를 공동 최적화하는 엔드 투 엔드 학습을 적용한다.
• HSV 색상 코딩을 사용하여 각 에지 픽셀의 다중 분류 연관성을 시각화한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 동시에 여러 의미 분류에 속하는 에지를 효과적으로 검출할 수 있는가?
• RQ2 분류별 에지 헤드 간에 저수준 특징을 공유하면 다중 레이블 의미 에지 검출 성능이 향상되는가?
• RQ3 다중 레이블 손실 함수는 이진 또는 다중 작업 손실에 비해 더 나은 학습 역학과 향상된 검출 정확도를 이끌 수 있는가?
• RQ4 제안된 아키텍처는 SBD 및 Cityscapes와 같은 표준 벤치마크에서 기존 최신 기술과 비교해 어떻게 성능을 낼 수 있는가?
• RQ5 모델은 겹치거나 교차하는 객체 경계를 포함한 복잡한 시나리오에 얼마나 잘 일반화되는가?

주요 결과

• SBD 벤치마크에서 CASENet은 평균 F-측정치 80.8%를 기록하여 이전 최신 기술인 DSN의 3.5%p를 초월한다.
• Cityscapes에서 CASENet은 평균 F-측정치 71.3%를 기록하여 DSN의 68.5%보다 유의미하게 향상되었다.
• 사람 클래스의 경우, CASENet은 Cityscapes에서 평균 F-측정치 81.5%를 기록했으며, DSN의 77.5%에 비해 향상되었다.
• 배 클래스의 경우, CASENet은 Cityscapes에서 평균 F-측정치를 DSN의 72.1%에서 74.6%로 향상시켰다.
• 접합부와 겹치는 객체 경계와 같은 도전적인 상황에서도 DSN보다 더 적은 오진을 보이며 뛰어난 성능을 보였다.
• 정성적 결과에서는 '건물+사람' 및 '도로+보도'와 같은 복잡한 분류 조합에서 더 정확하고 일관성 있는 에지 맵을 생성하는 것으로 나타났다.