[논문 리뷰] End-to-End Deep Convolutional Active Contours for Image Segmentation

Ali Hatamizadeh, Debleena Sengupta외 1명|arXiv (Cornell University)|2019. 01. 01.

Advanced Neural Network Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 딥 컨volution 신경망(CNN)과 미분 가능한 유일라 활성 윤곽선을 통합하는 엔드 투 엔드 훈련 가능한 이미지 세그멘테이션 프레임워크인 딥 컨volution 알렉티브 컨투어(DCAC)를 소개한다. CNN 기반 아키텍처를 통해 픽셀별 매개변수 맵(λ1, λ2)과 일반화된 거리 변환을 학습함으로써, 사용자 초기화 없이 백프로파게이션 호환 가능한 윤곽선 진화를 자동으로 구현한다. 이는 항공 건물 인스턴스 세그멘테이션에서 기존 방법들, 특히 Vaihingen 및 Bing Huts 데이터셋에서 DSAC에 비해 괴이한 성능 향상을 이룬다.

ABSTRACT

The Active Contour Model (ACM) is a standard image analysis technique whose numerous variants have attracted an enormous amount of research attention across multiple fields. Incorrectly, however, the ACM's differential-equation-based formulation and prototypical dependence on user initialization have been regarded as being largely incompatible with the recently popular deep learning approaches to image segmentation. This paper introduces the first tight unification of these two paradigms. In particular, we devise Deep Convolutional Active Contours (DCAC), a truly end-to-end trainable image segmentation framework comprising a Convolutional Neural Network (CNN) and an ACM with learnable parameters. The ACM's Eulerian energy functional includes per-pixel parameter maps predicted by the backbone CNN, which also initializes the ACM. Importantly, both the CNN and ACM components are fully implemented in TensorFlow, and the entire DCAC architecture is end-to-end automatically differentiable and backpropagation trainable without user intervention. As a challenging test case, we tackle the problem of building instance segmentation in aerial images and evaluate DCAC on two publicly available datasets, Vaihingen and Bing Huts. Our reseults demonstrate that, for building segmentation, the DCAC establishes a new state-of-the-art performance by a wide margin.

연구 동기 및 목표

• 딥 러닝과 활성 윤곽선 모델 간 격차를 해소하기 위해 진정으로 엔드 투 엔드이며, 미분 가능한 프레임워크를 구축하는 것.
• 활성 윤곽선 초기화 및 매개변수 조정에 대한 사용자 간섭을 제거하여 완전 자동화된 세그멘테이션을 가능하게 하는 것.
• 특히 항공 영상에서 복잡하고 이질적인 객체인 건물에 대해 경계 분리 정확도를 향상시키는 것.
• 도전적인 항공 영상 인스턴스 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 프레임워크는 CNN 기반 아키텍처와 미분 가능한 유일라 활성 윤곽선 모델을 통합하며, CNN은 픽셀별 매개변수 맵(λ1, λ2)과 초기화를 위한 일반화된 거리 변환을 예측한다.
• 활성 윤곽선은 국소적으로 처벌된 에너지 기능을 통해 진화하며, 이는 완전히 미분 가능하고 텐서플로우에서 백프로파게이션을 통해 훈련 가능한 구조이다.
• 제로 수준 집합은 계산 비용이 높고, 미분 불가능한 연산을 피하기 위해 학습된 거리 변환을 사용하여 초기화된다.
• 전체 아키텍처는 사전 훈련 없이 처음부터 엔드 투 엔드로 훈련되며, CNN과 ACM 구성 요소의 공동 최적화를 가능하게 한다.
• 세그멘테이션 정확도, 특히 경계 정밀도 향상을 위해 훈련 중 소프트 디스크 손실이 사용된다.
• 기존의 매개변수 기반 ACM과 달리, 이 방법은 동시에 여러 객체 인스턴스의 세그멘테이션을 지원한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 활성 윤곽선과 완전히 엔드 투 엔드이며, 백프로파게이션으로 훈련 가능한 방식으로 통합될 수 있는가?
• RQ2 활성 윤곽선 에너지 기능 내에서 픽셀별로 학습 가능한 매개변수는 일정한 매개변수보다 경계 분리 정확도를 향상시킬 수 있는가?
• RQ3 CNN이 사용자 입력 없이 활성 윤곽선을 자동으로 초기화할 수 있으며, 이는 수렴성과 정확도 향상에 기여하는가?
• RQ4 제안된 프레임워크는 항공 영상의 인스턴스 세그멘테이션에서 기존 최신 기술 수준의 방법들을 초월하는가?
• RQ5 복잡한 토폴로지 변화와 건물 세그멘테이션의 특수 케이스를 처리할 수 있는가?

주요 결과

• DCAC는 Vaihingen 데이터셋에서 mIoU 0.929, Bing Huts 데이터셋에서 0.860의 새로운 최고 성능을 기록하였으며, 각각 DSAC(0.840 및 0.650)를 크게 앞서나갔다.
• 학습 가능한 λ1(x,y) 및 λ2(x,y) 맵을 사용한 DCAC는 Vaihingen에서 BoundF 점수 0.819, Bing Huts에서 0.534를 기록하여 뛰어난 경계 정확도를 입증하였다.
• 일정한 λ 매개변수를 사용한 형태의 DCAC는 U-Net 및 ResNet과 같은 표준 CNN보다도 뛰어난 성능을 보였지만, 공간적으로 변화하는 매개변수를 포함한 전체 DCAC는 성능 향상이 극명하게 뚜렷했다.
• DCAC는 동시에 여러 건물을 성공적으로 세그멘테이션했으며, DSAC는 단일 인스턴스 처리에 국한되어 있다.
• 시각적 비교 결과, DCAC는 날카로운 에지나 저대비 영역에서 더 정확하고 세밀한 경계를 생성하는 반면, DSAC는 과도하게 세분화하는 경향을 보였다.
• 초기화에 학습된 거리 변환을 사용함으로써, 원형 기반 초기화와 달리 더 빠른 수렴과 국소 최소값 회피가 가능했다.