[논문 리뷰] Contour Detection Using Cost-Sensitive Convolutional Neural Networks

Jyh-Jing Hwang, Tyng-Luh Liu|arXiv (Cornell University)|2014. 12. 22.

Medical Image Segmentation Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 밀도 네트워크 기반의 합성곱 신경망을 위한 비용 감수성 미세조정 전략을 제안하여 픽셀 단위 윤곽 검출 성능을 향상시킨다. ImageNet으로 사전 훈련된 모델을 픽셀 수준의 분류에 적응시키고, 소규모 가장자리 패치 데이터셋을 바탕으로 비용 감수성 서포트 벡터 기반의 앙상블 학습을 활용함으로써, BSDS500에서 최신 기술 수준의 성능을 달성하였으며, F-측정치는 0.80, ODS 점수는 0.76를 기록하였다.

ABSTRACT

We address the problem of contour detection via per-pixel classifications of edge point. To facilitate the process, the proposed approach leverages with DenseNet, an efficient implementation of multiscale convolutional neural networks (CNNs), to extract an informative feature vector for each pixel and uses an SVM classifier to accomplish contour detection. The main challenge lies in adapting a pre-trained per-image CNN model for yielding per-pixel image features. We propose to base on the DenseNet architecture to achieve pixelwise fine-tuning and then consider a cost-sensitive strategy to further improve the learning with a small dataset of edge and non-edge image patches. In the experiment of contour detection, we look into the effectiveness of combining per-pixel features from different CNN layers and obtain comparable performances to the state-of-the-art on BSDS500.

연구 동기 및 목표

• 윤곽 검출에서 이미지 수준의 분류가 아닌 픽셀 수준의 경계 분류를 위해 사전 훈련된 ImageNet CNN을 적응시키는 과제를 해결한다.
• 경계 검출을 위한 훈련 데이터셋이 작을 경우의 한계를 비용 감수성 학습 전략을 도입하여 극복한다.
• 딥 네트워크의 다양한 합성곱 레이어에서 유도된 특징의 기여도를 윤곽 검출에 대해 조사한다.
• 다양한 네트워크 레이어에서 유도된 다중 미세조정 특징 스트림의 앙상블 학습을 통해 성능을 향상시킨다.
• 개별 접근 방식보다 양성 및 음성 미세조정 스트림을 조합하는 것이 더 우수한 성능을 내는지 확인한다.

제안 방법

• 각 이미지 픽셀의 다중 스케일 및 고수준 특징을 추출하기 위해 DenseNet을 백본으로 사용한다.
• 이미지 수준의 분류가 아닌 픽셀 수준의 경계 분류를 위해 사전 훈련된 ImageNet CNN에 픽셀 단위의 미세조정을 적용한다.
• 경계(양성) 픽셀과 비경계(음성) 픽셀에 대해 다른 오분류 페널티를 부여하여 비용 감수성 학습을 구현한다.
• 경계 및 비경계 이미지 패치로 구성된 소규모 코어티드 데이터셋을 기반으로 훈련된 SVM 분류기를 사용하여 픽셀 단위 예측을 수행한다.
• 다섯 개의 다른 합성곱 레이어(Conv1부터 Conv5까지)의 특징을 다중 스트림 앙상블 모델로 통합하여 검출의 강건성을 향상시킨다.
• 다양한 비용 감수성 미세조정 스트림의 예측을 융합하는 최종 융합 모델을 사용하여 성능을 최대화한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋을 사용하여 사전 훈련된 ImageNet CNN을 픽셀 단위의 경계 검출에 효과적으로 미세조정할 수 있는가?
• RQ2 다양한 합성곱 레이어에서 유도된 특징은 윤곽 검출 성능에 어떻게 기여하는가?
• RQ3 불균형한 경계/비경계 데이터셋에서 훈련할 경우 비용 감수성 학습이 성능 향상에 기여하는가?
• RQ4 양성 및 음성 미세조정 스트림을 조합하면 개별적으로 사용할 경우보다 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ5 다양한 특징 스트림에 걸쳐 앙상블 학습을 적용할 경우 최신 기술 수준의 윤곽 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 비용 감수성 미세조정 전략은 표준 픽셀 단위의 미세조정보다 윤곽 검출 성능을 크게 향상시키며, 특히 양성 및 음성 미세조정 스트림을 조합할 경우 두드러진 성능 향상을 보인다.
• 최종 앙상블 모델(CSCNN)은 BSDS500 벤치마크에서 F-측정치(AP) 0.80과 ODS 점수 0.76를 기록하여 기존 방법들을 초월한다.
• 두 번째, 세 번째, 네 번째 합성곱 레이어의 특징이 검출 정확도에 가장 크게 기여하며, 이는 중위 수준의 특징이 경계 검출에 가장 유용하다는 것을 시사한다.
• 다섯 개의 합성곱 레이어에서 유도된 특징을 모두 조합할 경우 최고의 성능를 기록하여, 저수준의 텍스처 정보와 고수준의 객체 신호가 모두 필수적임을 입증한다.
• 양성 및 음성 미세조정을 조합함으로써 얻는 성능 향상은 상당히 크며, F-측정치에서 0.2의 향상이 이루어져 이들의 상호보완적 성격을 확인한다.
• 5개 스트림 사전 훈련 모델조차도 강력한 성능(0.75 ODS, 0.77 OIS)을 기록하여, 적절한 적응 전략을 갖춘 전이 학습이 픽셀 단위 작업에 매우 효과적임을 보여준다.