[논문 리뷰] Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform

Liang-Chieh Chen, Jonathan T. Barron외 3명|arXiv (Cornell University)|2015. 11. 10.

Advanced Neural Network Applications참고 문헌 40인용 수 35

한 줄 요약

이 논문은 종단간 훈련을 통해 도메인 변환(DT) 필터를 사용한 작업 특화 엣지 검출 방법을 제안하여 의미적 이미지 세그멘테이션을 향상시킨다. 이미지 기울기 대신 중간 CNN 특징에서 엣지 맵을 학습함으로써, 전방형 CRF와 유사한 정확도를 달성하면서도 추론 속도가 10배 빠르게 향상되며, BSDS500에서 경쟁적인 엣지 검출 성능을 내는 데 성공한다.

ABSTRACT

Deep convolutional neural networks (CNNs) are the backbone of state-of-art semantic image segmentation systems. Recent work has shown that complementing CNNs with fully-connected conditional random fields (CRFs) can significantly enhance their object localization accuracy, yet dense CRF inference is computationally expensive. We propose replacing the fully-connected CRF with domain transform (DT), a modern edge-preserving filtering method in which the amount of smoothing is controlled by a reference edge map. Domain transform filtering is several times faster than dense CRF inference and we show that it yields comparable semantic segmentation results, accurately capturing object boundaries. Importantly, our formulation allows learning the reference edge map from intermediate CNN features instead of using the image gradient magnitude as in standard DT filtering. This produces task-specific edges in an end-to-end trainable system optimizing the target semantic segmentation quality.

연구 동기 및 목표

• 밀도 높은 CRF 추론의 계산 비용 없이 객체 경계 근처의 의미적 이미지 세그멘테이션 정확도를 향상시키기.
• CNN 기반 세그멘테이션 모델에서 전방형 CRF 후처리의 높은 계산 비용을 해결하기.
• 종단간 훈련 가능한 프레임워크 내에서 중간 CNN 특징에서 작업 특화 엣지를 학습하여 세그멘테이션 품질을 향상시키기.
• 세그멘테이션 성능를 유지하면서도 CRF에서 사용하는 비용이 많이 드는 양방향 필터링을 더 효율적인 도메인 변환으로 대체하기.
• 통합된 훈련을 통해 엣지 검출이 의미적 세그멘테이션과 엣지 검출 성능 향상에 기여함을 벤치마크 데이터셋에서 입증하기.

제안 방법

• CNN 기반 세그멘테이션에서 전방형 CRF 후처리 단계를 엣지 인식 스무딩을 위한 도메인 변환(DT) 필터로 대체하기.
• 이미지 기울기 크기 대신 중간 CNN 특징을 기반으로 학습된 기준 엣지 맵을 DT에 사용하기.
• 세그멘테이션 품질을 최적화하기 위해 백프로파게이션을 통한 종단간 훈련을 통해 전체 시스템을 훈련시켜 엣지 검출기를 작업 특화로 만들기.
• 도메인 변환을 게이트드 순환 신경망(GRNN)으로 공식화하여 RNN과의 공유된 통찰과 효율적인 구현 가능하게 하기.
• 학습된 엣지 맵을 사용해 굵은 의미적 세그멘테이션 점수에 DT 필터를 적용하여 경계 인식 예측을 정밀하게 조정하기.
• 세그멘테이션 점수와 엣지 맵을 동시에 생성하는 통합된 CNN 아키텍처에 DT 모듈 통합하기.

실험 결과

연구 질문

• RQ1 전방형 CRF 후처리를 대체할 수 있는 도메인 변환 필터가 추론 시간을 크게 줄이면서도 세그멘테이션 정확도를 유지할 수 있는가?
• RQ2 중간 CNN 특징에서 작업 특화 엣지 맵을 학습하는 것이 이미지 기울기 사용 대비 세그멘테이션 성능 향상에 기여하는가?
• RQ3 도메인 변환이 세그멘테이션 네트워크의 일부로 종단간 훈련이 가능하여 엣지 검출과 세그멘테이션을 동시에 최적화할 수 있는가?
• RQ4 제안된 방법이 의미적 세그멘테이션과 엣지 검출 벤치마크에서 경쟁적인 성능을 달성하는가?
• RQ5 기존의 양방향 필터링 또는 밀도 높은 CRF 추론 대비 도메인 변환의 계산 효율성 향상은 어느 정도인가?

주요 결과

• ImageNet과 MS-COCO에서 훈련한 DT-EdgeNet은 PASCAL VOC 2012 테스트 세트에서 mIOU 71.7을 기록하여, DeepLab-CRF-LargeFOV(70.3 mIOU)를 능가하고 더 비싼 CRF 기반 방법에 가까운 성능을 달성한다.
• MS-COCO에서 추가 사전 훈련을 거친 DT-EdgeNet + DenseCRF는 73.6 mIOU를 기록하여 최신 기술인 DeepLab-CRF-Attention-DT(76.3 mIOU)에 근접하지만, CRF 기반 추론보다 훨씬 빠른 속도를 확보한다.
• 도메인 변환은 밀도 높은 CRF 추론 대비 최대 10배 빠르며, 최소 지연 시간으로 실시간 또는 근접 실시간 세그멘테이션을 가능하게 한다.
• 학습된 엣지 검출기(EdgeNet)는 BSDS500 엣지 검출 벤치마크에서 경쟁적인 성능을 보이며, 작업 특화 엣지 학습이 세그멘테이션과 엣지 검출 모두에 향상 효과를 준다는 것을 입증한다.
• 메서드는 고정밀 경계 정확도를 유지하며, 정성적 비교에서 DT-EdgeNet이 객체 윤곽선에 잘 맞는 세그멘테이션 결과를 생성함을 보여준다.
• 도메인 변환은 수학적으로 게이트드 순환 네트워크와 동치이며, 효율성과 행동에 대한 이론적 및 실용적 통찰을 제공한다.