[논문 리뷰] Pushing the Boundaries of Boundary Detection using Deep Learning

Iasonas Kokkinos|arXiv (Cornell University)|2015. 11. 23.

Advanced Neural Network Applications참고 문헌 35인용 수 51

한 줄 요약

이 논문은 다중 해상도 아키텍처, 새로운 손실 함수, 외부 학습 데이터를 조합하여 상태의 기준 성능을 달성하는 딥러닝 기반 경계 검출 시스템을 제안한다. 베이클리 세그멘테이션 데이터셋에서 F-측정치 0.813으로 인간 성능을 초월한다. 또한, 정규화 컷을 DenseCRF 추론에 통합하여 의미 세그멘테이션 성능을 향상시켜 VOC 2012에서 평균 정확도를 75.7%로 끌어올린다.

ABSTRACT

In this work we show that adapting Deep Convolutional Neural Network training to the task of boundary detection can result in substantial improvements over the current state-of-the-art in boundary detection. Our contributions consist firstly in combining a careful design of the loss for boundary detection training, a multi-resolution architecture and training with external data to improve the detection accuracy of the current state of the art. When measured on the standard Berkeley Segmentation Dataset, we improve theoptimal dataset scale F-measure from 0.780 to 0.808 - while human performance is at 0.803. We further improve performance to 0.813 by combining deep learning with grouping, integrating the Normalized Cuts technique within a deep network. We also examine the potential of our boundary detector in conjunction with the task of semantic segmentation and demonstrate clear improvements over state-of-the-art systems. Our detector is fully integrated in the popular Caffe framework and processes a 320x420 image in less than a second.

연구 동기 및 목표

• 기계와 인간의 경계 검출 성능 간 격차를 좁히기 위해 딥러닝을 이 작업에 효과적으로 적용함으로써 표준 벤치마크에서 인간 수준 성능을 초월하는 것.
• 철저히 설계된 손실 함수, 다중 해상도 아키텍처, 외부 학습 데이터를 통해 경계 검출 정확도를 향상시키는 것.
• 기존의 군집 기법(예: 정규화 컷)을 딥 네트워크에 통합하여 경계 인식 능력을 향상시키는 것.
• 높은 정확도의 경계 검출기를 활용하여 의미 세그멘테이션, 영역 제안 생성과 같은 고수준 비전 작업의 성능을 향상시키는 것.

제안 방법

• VGG 기반의 다중 해상도 딥 서프비즈드 네트워크(DSN) 아키텍처를 채택하며, 가중치 고정 및 후기 점수 융합을 통해 다양한 척도에서의 특징 표현을 향상시킨다.
• 학습 중 경계 픽셀에 중점을 두어 에지 세부 정보에 대한 민감도를 향상시키는 수정된 손실 함수를 도입한다.
• ImageNet 및 PASCAL VOC와 같은 외부 학습 데이터를 활용해 네트워크를 사전 학습 및 미세 조정함으로써 일반화 능력과 정확도를 향상시킨다.
• DenseCRF 추론에 정규화 컷 고유벡터를 추가 특징으로 통합하여 공간 일관성과 경계 인식 세그멘테이션을 향상시킨다.
• 경계 강도에 따라 가중치가 설정된 쌍대 항목 잠재력을 갖는 그래프 컷 후처리를 적용하여 세그멘테이션 결과를 정밀하게 개선한다.
• 전체 시스템을 Caffe 딥러닝 프레임워크 내에 구현하여 320×420 이미지당 1초 이내 실시간 추론 기능을 제공한다.

실험 결과

연구 질문

• RQ1 딥러닝이 표준 벤치마크에서 인간 수준 성능을 초월할 수 있도록 경계 검출에 효과적으로 적용될 수 있는가?
• RQ2 다중 해상도 특징 학습과 딥 서프비전은 단일 척도 접근 방식에 비해 경계 검출 정확도를 어떻게 향상시키는가?
• RQ3 기존의 군집 기법(예: 정규화 컷)이 딥 네트워크 예측의 경계 검출 성능에 얼마나 기여하는가?
• RQ4 고정확도 경계 검출기를 의미 세그멘테이션 및 영역 제안 생성과 같은 후행 작업의 성능 향상에 활용할 수 있는가?

주요 결과

• 제안된 방법은 베이클리 세그멘테이션 데이터셋에서 최적의 데이터셋 스케일 F-측정치 0.813을 달성하여 인간 성능(F=0.803)을 초월한다.
• 이미지별 최적 스케일 임계치 설정을 통해 F-측정치 0.8308을 달성하여 다양한 이미지에 대한 강건성을 입증한다.
• DenseCRF 추론에 정규화 컷 고유벡터를 통합함으로써 PASCAL VOC 2012 테스트 세트에서 의미 세그멘테이션 평균 정확도를 74.8%에서 75.4%로 향상시킨다.
• 경계 민감도를 반영한 쌍대 항목 잠재력을 갖는 그래프 컷 후처리를 적용함으로써 정확도를 75.7%로 더욱 높여 경계 인식 기반 정밀화의 가치를 입증한다.
• 320×420 이미지를 1초 이내로 처리하여 Caffe 프레임워크 내에서 실시간 추론 능력을 입증한다.
• 경계 검출기가 의미 세그멘테이션 및 영역 제안 생성 성능을 크게 향상시켜 중위 수준의 비전 구성 요소로서의 유용성을 입증한다.