[논문 리뷰] Deep Watershed Transform for Instance Segmentation

Min Bai, Raquel Urtasun|arXiv (Cornell University)|2016. 11. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 36

한 줄 요약

이 논문은 객체 인스턴스가 서로 다른 에너지 분지로 대응하는 구조적 에너지 맵을 학습함으로써 워터셰이드 변환을 활용하는 새로운 엔드 투 엔드 딥 컨volution 신경망을 제안한다. 단일 에너지 수준 컷을 적용함으로써 복잡한 후처리 없이 직접 인스턴스 세그먼테이션을 추출하며, 이전 최고 성능 방법 대비 Cityscapes 벤치마크에서 인스턴스 세그먼테이션 성능이 200퍼센트 이상 향상된다.

ABSTRACT

Most contemporary approaches to instance segmentation use complex pipelines involving conditional random fields, recurrent neural networks, object proposals, or template matching schemes. In our paper, we present a simple yet powerful end-to-end convolutional neural network to tackle this task. Our approach combines intuitions from the classical watershed transform and modern deep learning to produce an energy map of the image where object instances are unambiguously represented as basins in the energy map. We then perform a cut at a single energy level to directly yield connected components corresponding to object instances. Our model more than doubles the performance of the state-of-the-art on the challenging Cityscapes Instance Level Segmentation task.

연구 동기 및 목표

• RNN, CRF, 또는 객체 제안을 포함하는 복잡한 파ip라인을 피하는 단순한 엔드 투 엔드 딥 러닝 방법을 개발하는 것.
• 고전적인 워터셰이드 변환 원리를 현대 딥 러닝과 융합하여 학습된 에너지 지형을 통해 명확한 인스턴스 세그먼테이션을 생성하는 것.
• 도전적인 Cityscapes 인스턴스 세그먼테이션 벤치마크에서 최고 성능을 달성하는 것.
• 반복적인 방법(예: RNN)을 대체하여 단일 수준 컷 연산을 사용함으로써 일관된 실시간 추론을 가능하게 하는 것.

제안 방법

• 모델은 두 단계의 네트워크를 사용해 깊이 있는 에너지 맵을 학습한다: 기울기 방향을 예측하는 방향 네트워크(DN)와 에너지 값을 예측하는 워터셰이드 변환 네트워크(WTN).
• 에너지 맵은 각 객체 인스턴스가 고유한 분지가 되도록 설계되며, 모든 분리 고산은 동일한 에너지 수준에 위치하여 단일 임계값 컷을 통해 직접 인스턴스를 추출할 수 있다.
• 모델은 새로운 손실 함수를 사용해 합성 데이터셋에서 사전 훈련되며, 이는 정확한 기울기 방향과 에너지 수준 일관성을 강제한다.
• 에너지 맵에 대한 L1 손실과 올바른 인스턴스 경계 형성에 유도하는 커스터마이즈된 손실의 조합을 사용해 엔드 투 엔드 미세조정을 수행한다.
• 세그먼테이션 결과를 지도로 사용하여 인스턴스 예측을 유도하며, PSPNet 또는 LRR를 세그먼테이션 백본으로 사용한다.
• 세그먼테이션 소프트맥스 확률을 사용해 인스턴스 신뢰도 점수를 추정하고, AP 계산을 위한 예측 순위를 정한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 워터셰이드 원리에 따라 직접 인스턴스 경계를 인코딩하는 구조적 에너지 지형을 효과적으로 학습할 수 있는가?
• RQ2 고전적인 형태학적 군집화와 딥 러닝 특징을 융합하면 복잡한 파이프라인 기반 방법에 비해 향상된 인스턴스 세그먼테이션 성능를 달성할 수 있는가?
• RQ3 반복적 또는 제안 기반 보정 전략을 대체할 수 있는 단일 에너지 수준 컷이 높은 정확도와 빠른 추론을 유지하면서 작동할 수 있는가?
• RQ4 세그먼테이션 품질이 제안된 방법의 최종 인스턴스 세그먼테이션 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전 최고 성능 방법 대비 Cityscapes 인스턴스 세그먼테이션 벤치마크에서 성능이 두 배 이상 향상되었다.
• RNN, CRF, 또는 객체 제안을 포함하는 복잡한 파이프라인에 비해 뚜렷한 성능 향상을 보이며, 엔드 투 엔드 워터셰이드 기반 접근의 효과성을 입증한다.
• 아블레이션 연구 결과, 중간 훈련 타겟(방향 예측)이 효과적이며, 미세조정된 DN이 강한 방향 일관성을 유지함을 확인했다.
• 더 나은 세그먼테이션 품질(예: PSPNet 대비 LRR 사용)을 사용할수록 인스턴스 세그먼테이션 성능이 향상되어, 세그먼테이션 품질에 강한 의존성을 보임을 시사한다.
• 오라클 IoU를 사용한 신뢰도 순위 매기기가 성능을 6.34% 향상시켰으며, 실제 인스턴스 품질에 변화가 없음에도 AP 점수에 큰 영향을 미친다는 점을 강조한다.
• 실패 케이스로는 가림으로 인해 분할된 객체와 복잡한 시나리오에서의 과세그먼테이션 현상이 관찰되어 상향식 추론 통합의 필요성을 시사한다.