[논문 리뷰] Unmixing Convolutional Features for Crisp Edge Detection

Linxi Huan, Nan Xue외 4명|arXiv (Cornell University)|2020. 11. 19.

Advanced Neural Network Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 복합 특징과 측면 예측을 분리하기 위해 추적 손실과 맥락 인식 융합 블록을 사용하는 맥락 인식 추적 전략(CATS)을 제안한다. CATS는 깊은 신경망 내에서 특징과 측면 혼합을 줄여, VGG16 백본을 사용할 때 RCF에 통합된 상태에서 형태학적 NMS 없이 BSDS500에서 F-측정치를 12% 향상시킨다.

ABSTRACT

This paper presents a context-aware tracing strategy (CATS) for crisp edge detection with deep edge detectors, based on an observation that the localization ambiguity of deep edge detectors is mainly caused by the mixing phenomenon of convolutional neural networks: feature mixing in edge classification and side mixing during fusing side predictions. The CATS consists of two modules: a novel tracing loss that performs feature unmixing by tracing boundaries for better side edge learning, and a context-aware fusion block that tackles the side mixing by aggregating the complementary merits of learned side edges. Experiments demonstrate that the proposed CATS can be integrated into modern deep edge detectors to improve localization accuracy. With the vanilla VGG16 backbone, in terms of BSDS500 dataset, our CATS improves the F-measure (ODS) of the RCF and BDCN deep edge detectors by 12% and 6% respectively when evaluating without using the morphological non-maximal suppression scheme for edge detection.

연구 동기 및 목표

• 신경망 내 특징 혼합과 측면 혼합으로 인한 깊이 있는 에지 검출기의 국소화 모호성 문제를 해결하기 위해.
• 형태학적 비최대 억제(NMS) 후처리에 의존하지 않고도 에지 맵의 선명도를 향상시키기 위해.
• 아키텍처 수정 없이 표준 VGG16 백본을 사용하여 고성능 에지 검출을 가능하게 하기 위해.
• 복합 특징과 측면 예측을 분리하여 더 나은 에지 국소화와 질감 억제를 달성하기 위해.
• 기존 깊이 있는 에지 검출기의 성능을 향상시키기 위해 재학습 없이도 즉시 통합 가능한 플러그 앤 플레이 모듈을 개발하기 위해.

제안 방법

• 특징 분리를 향상시키고 측면 에지 학습을 개선하기 위해 경계 추적을 수행하는 새로운 추적 손실을 도입한다.
• 다중 수준의 측면 에지를 보다 적절하게 융합하기 위해 상호보완적인 주의 가중치를 학습하는 CoFusion 블록을 제안한다.
• 고수준 특징 내 공간 혼합을 줄이기 위해 경계 추적 함수를 사용해 측면 에지 예측을 정밀하게 보정한다.
• 질감 영역에서의 오진 탐지 수를 줄이고 에지 반응을 향상시키기 위해 질감 억제 기능을 활용한다.
• 추적 손실과 CoFusion 블록을 결합하여 특징 혼합과 측면 혼합을 동시에 해결한다.
• 표준 초기화를 사용해 엔드 투 엔드로 모델을 훈련시키며, RCF, HED, BDCN과 같은 기존 검출기와 CATS를 통합한다.

실험 결과

연구 질문

• RQ1 형태학적 NMS 없이 깊이 있는 에지 검출기가 더 선명한 국소화를 달성할 수 있는가?
• RQ2 CNN 내 특징 혼합이 에지 검출 성능에 얼마나 심각한 영향을 미치는가?
• RQ3 세밀한 에지 세부 정보를 유지하기 위해 측면 에지 융합을 어떻게 향상시킬 수 있는가?
• RQ4 경량이며 플러그 앤 플레이 방식의 모듈이 표준 VGG16 기반 에지 검출기의 성능을 향상시킬 수 있는가?
• RQ5 경계 추적과 맥락 인식 융합을 통해 특징을 분리하면 일관된 성능 향상이 이루어지는가?

주요 결과

• 형태학적 NMS 없이 평가했을 때, CATS는 RCF의 F-측정치(ODS)를 12% 향상시키고 BDCN의 경우 6% 향상시켰다. BSDS500 데이터셋에서의 성능 향상이다.
• 완전한 CATS는 BSDS500에서 ODS 0.731, OIS 0.744를 기록했으며, RCF 대비 각각 1.1%, 0.8% 향상된 성능을 보였다.
• 선명도 중심 평가 결과, RCF 대비 ODS에서 7% 향상되고 OIS에서 7.1% 향상되어 더 뛰어난 국소화 정확도를 입증했다.
• 추적 손실만으로도 ODS는 0.9% 향상되고 OIS는 0.8% 향상되었지만, CoFusion 블록만으로는 선명도 향상에 미미한 기여를 하였다.
• CoFusion 블록은 경계 영역에서는 저수준 측면 에지에 더 높은 가중치를 부여하고, 매끄러운 영역에서는 고수준 출력에 더 높은 가중치를 할당하는 방식으로 학습함으로써 효과적인 측면 분리가 이루어짐을 확인했다.
• 제거 분석 결과, 추적 손실과 CoFusion 블록을 함께 사용할 경우 최고의 성능을 기록하며, 이는 특징 혼합과 측면 혼합 분리에 있어 상호보완적인 역할을 한다는 것을 증명한다.