[논문 리뷰] End to End Trainable Active Contours via Differentiable Rendering

Shir Gur, Tal Shaharabany외 1명|arXiv (Cornell University)|2019. 12. 01.

Advanced Vision and Imaging참고 문헌 41인용 수 7

한 줄 요약

이 논문은 단일 인코더-디코더 추론을 통해 학습된 2D 이동 지ap을 사용하여 다이어렌셜 렌더러를 통해 다각형을 변형시키는 엔드 투 엔드 훈련 가능한 활성 윤곽 방법을 제안한다. 다이어렌셜 렌더링 덕분에 역전파를 통해 지도 마스크에 대한 다각형 형태를 직접 최적화함으로써 의료, 항공 및 도시 기준 데이터셋에서 최신 기술 수준(SOTA)의 세분화 성능을 달성한다.

ABSTRACT

We present an image segmentation method that iteratively evolves a polygon. At each iteration, the vertices of the polygon are displaced based on the local value of a 2D shift map that is inferred from the input image via an encoder-decoder architecture. The main training loss that is used is the difference between the polygon shape and the ground truth segmentation mask. The network employs a neural renderer to create the polygon from its vertices, making the process fully differentiable. We demonstrate that our method outperforms the state of the art segmentation networks and deep active contour solutions in a variety of benchmarks, including medical imaging and aerial images. Our code is available at https://github.com/shirgur/ACDRNet.

연구 동기 및 목표

• 세분화에서 경계 정확도를 향상시키는 단순하면서도 강력한 활성 윤곽 방법을 개발하기 위해.
• 세분화 손실에서 다각형 정점까지의 전체 역전파를 가능하게 하는 다이어렌셜 렌더링을 사용하여 활성 윤곽의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 의료 및 항공 영상과 같은 제한된 데이터를 포함한 다양한 데이터셋에서 기존의 딥 활성 윤곽 및 세분화 모델을 초월하기 위해.
• 단일 추론을 통한 이동 지ap 예측과 반복적 지도 학습 없이도 뛰어난 성능을 달성하는 최소한의 아키텍처가 효과가 있음을 입증하기 위해.
• 기존의 비다이어렌셜 윤곽 진화 방식을 대체하는 학습 가능한, 다이어렌셜 다각형 변형 과정을 통해 다이어렌셜 렌더링의 효과를 세분화에서 검증하기 위해.

제안 방법

• 모델은 입력 이미지에 대한 단일 전방 계산을 통해 2D 이동 지압을 예측하는 U-Net 스타일의 인코더-디코더를 사용한다.
• 이동 지압은 다각형 정점의 이동을 정의하며, 이 정점들은 초기에 정규형태(예: 원형)로 설정되고 반복적으로 진화된다.
• 다이어렌셜 메쉬 렌더러(Kato et al., 2018)는 변화하는 다각형을 이진 세분화 마스크로 변환하여 정점 이동에 대한 기울기 흐름을 가능하게 한다.
• 손실은 렌더링된 다각형 마스크와 지도 세분화 마스크 사이의 직접적인 평균 제곱오차(MSE)이다.
• 다이어렌셜 렌더러를 통해 역전파가 가능하게 하여 기울기 하강법을 통해 정점 위치를 최적화하는 방식으로 모델을 엔드 투 엔드로 훈련한다.
• 반복적 지도 학습이나 보조 손실이 필요하지 않지만, 부가 실험에서는 곡률 및 팽창 손실이 약간의 성능 향상을 제공하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 단일 엔드 투 엔드 다이어렌셜 렌더링 파이프라인은 기존의 반복적 활성 윤곽 진화 방식을 성능 향상으로 대체할 수 있는가?
• RQ2 직접적인 단일 추론 이동 지압 예측 방식은 다단계 또는 힘 균형 기반 활성 윤곽 방법보다 우월한가?
• RQ3 단순한 세분화 손실과 다이어렌셜 렌더링만을 사용하는 최소한의 아키텍처가 다양한 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?
• RQ4 다각형 정점 수와 진화 과정의 반복 수에 따라 성능에 얼마나 민감한가?
• RQ5 기존의 비다이어렌셜 방법이 비가역성으로 인해 실패할 때, 다이어렌셜 렌더링이 활성 윤곽의 효과적인 훈련을 가능하게 하는가?

주요 결과

• 제안된 방법은 Cityscapes 데이터셋에서 75.09의 최신 기술 수준(SOTA) 평균 IoU를 달성하여, PSP-DeepLab 및 Polygon-GCN를 포함한 모든 베이스라인을 능가한다.
• Vaihingen 항공 영상 데이터셋에서 64×64 해상도로 훈련했을 경우, mIoU는 91.74%, F1 스코어는 95.62%를 기록했으며, 64 픽셀 이하로 내려갈 경우 성능이 크게 떨어졌다.
• 약 32개의 정점에서 성능이 포화 상태에 도달했으며, 저정점 수(예: 4–16개 정점)에서 DARNet(Cheng et al., 2019)와 명확한 성능 격차를 보였다.
• 단일 반복으로도 훈련된 모델이 뛰어난 성능을 보였으며, 이는 반복 보정 없이도 이동 지압이 매우 효과적임을 시사한다.
• 부가 실험 결과 복합 손실(L_seg + L_K + L_B)이 최고의 성능(91.74% mIoU)을 내며, 심지어 기본 MSE 손실만으로도 SOTA를 초월하는 성능을 기록했다.
• 모델은 다양한 영역으로 일반화가 잘 되었으며, 의료 영상, 항공 영상, 도시 도로 영상에서 모두 최신 기술 수준(SOTA) 성능을 달성했다.