[논문 리뷰] Learning to predict crisp boundaries

Ruoxi Deng, Chunhua Shen외 3명|arXiv (Cornell University)|2018. 07. 26.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 13

한 줄 요약

이 논문은 후처리 없이 깊이 특징에서 직접 날카럽고 한 픽셀 너비의 경계를 예측하기 위해 새로운 손실 함수와 하향식/상향식 아키텍처를 갖춘 엔드 투 엔드 완전 컨volution 네트워크를 제안한다. 이 방법은 경계 검출 학습 데이터의 클래스 불균형 문제를 해결함으로써 경계의 날카기성과 정확도를 크게 향상시켜 BSDS500(ODS F-score: 0.815)과 NYU Depth(ODS F-score: 0.762)에서 최신 기준 성능을 달성한다.

ABSTRACT

Recent methods for boundary or edge detection built on Deep Convolutional Neural Networks (CNNs) typically suffer from the issue of predicted edges being thick and need post-processing to obtain crisp boundaries. Highly imbalanced categories of boundary versus background in training data is one of main reasons for the above problem. In this work, the aim is to make CNNs produce sharp boundaries without post-processing. We introduce a novel loss for boundary detection, which is very effective for classifying imbalanced data and allows CNNs to produce crisp boundaries. Moreover, we propose an end-to-end network which adopts the bottom-up/top-down architecture to tackle the task. The proposed network effectively leverages hierarchical features and produces pixel-accurate boundary mask, which is critical to reconstruct the edge map. Our experiments illustrate that directly making crisp prediction not only promotes the visual results of CNNs, but also achieves better results against the state-of-the-art on the BSDS500 dataset (ODS F-score of .815) and the NYU Depth dataset (ODS F-score of .762).

연구 동기 및 목표

• 후처리 이후에도 예측 경계가 두껍고 흐릿한 경향이 있는 CNN 기반 경계 검출에서 흔히 발생하는 문제를 해결하기 위해.
• 학습 중에 날카롭고 한 픽셀 너비의 경계를 직접 예측함으로써 경계 얇추기 후처리의 필요성을 제거하기 위해.
• 경계 픽셀과 배경 픽셀 간의 심각한 클래스 불균형을 효과적으로 다룸으로써 경계 검출 벤치마크 성능을 향상시키기 위해.
• 계층적 특징을 사용하여 픽셀 정확도의 경계 마스크를 생성하는 빠르고 정확하며 엔드 투 엔드 네트워크를 개발하기 위해.

제안 방법

• 불균형 데이터를 다룰 수 있도록 특별히 설계된 새로운 손실 함수를 제안하여, 양성(경계) 및 음성(배경) 샘플 간의 극심한 불균형을 해결한다.
• 다양한 스케일의 계층적 특징을 효과적으로 활용하기 위해 하향식/상향식 아키텍처를 갖춘 완전 컨볼루션 네트워크를 사용한다.
• 다른 수준의 특징을 융합하기 위해 스킵 연결을 활용하여 공간 정밀도를 향상시키고 픽셀 정확도의 경계 검출을 가능하게 한다.
• 제안된 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 학습시켜 후처리 없이 날카로운 경계 예측을 직접 최적화한다.
• 일반화 능력과 경계의 날카기성을 향상시키는 단순하지만 효과적인 학습 전략을 도입한다.
• RGB 및 HHA 특징(깊이 사용)을 모두 평가하여 평균을 내어 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 CNN 기반 경계 검출기들은 날카롭고 한 픽셀의 윤곽이 아닌 두껍고 흐릿한 경계를 생성하는가?
• RQ2 철저히 설계된 손실 함수만으로도 경계의 날카기성을 향상시키고 후처리의 필요성을 제거할 수 있는가?
• RQ3 시각적 품질과 F-score와 같은 정량적 지표에서 제안된 방법은 최신 기준 경계 검출기들과 어떻게 비교되는가?
• RQ4 높은 정확도를 유지하면서도 실시간 추론을 어느 정도 달성할 수 있는가?
• RQ5 건축적 복잡성 없이도 이 방법은 BSDS500 및 NYU Depth와 같은 다양한 데이터셋에 잘 일반화되는가?

주요 결과

• 제안된 방법은 BSDS500 데이터셋에서 최신 기준 성능인 ODS F-score 0.815를 달성한다.
• NYU Depth 데이터셋에서는 ODS F-score 0.762를 기록하여 새로운 최신 기준 벤치마크를 수립한다.
• GTX 980 GPU에서 30 FPS로 실행되어 실시간 추론 능력을 입증한다.
• 후처리 없이도 제안된 방법의 NMS 미적용 성능(ODS F-score: 0.693)은 동일 조건에서 CED의 성능(ODS F-score: 0.655)을 초월한다.
• 제안된 손실 함수의 사용은 HED 및 RCF와의 시각적 비교를 통해 경계의 날카기성이 크게 향상됨을 확인할 수 있다.
• 이 방법은 RGB 데이터만으로도 강력한 성능을 내며, HHA 특징을 추가로 사용함으로써 NYU Depth에서 0.762 ODS F-score를 달성한다.