[논문 리뷰] DeepCut: Object Segmentation from Bounding Box Annotations using Convolutional Neural Networks

Martin Rajchl, Matthew C. H. Lee외 9명|arXiv (Cornell University)|2016. 05. 25.

Advanced Neural Network Applications참고 문헌 36인용 수 7

한 줄 요약

DeepCut는 경계 상자 애너테이션만을 사용하여 반복적으로 컨volutional 네ural 네트워크(CNN) 분류기와 완전히 연결된 조건부 랜덤 필드(CRF)를 정규화함으로써 픽셀 단위 객체 분할을 위한 약한 지도 학습 방법을 제안한다. 이는 MRI 스캔에서 태반 뇌 및 폐 구조를 고정밀도로 분할하는 데 성공적으로 적용되어, 단순한 CNN 학습 및 전통적인 방법(예: GrabCut)을 능가한다.

ABSTRACT

In this paper, we propose DeepCut, a method to obtain pixelwise object segmentations given an image dataset labelled with bounding box annotations. It extends the approach of the well-known GrabCut method to include machine learning by training a neural network classifier from bounding box annotations. We formulate the problem as an energy minimisation problem over a densely-connected conditional random field and iteratively update the training targets to obtain pixelwise object segmentations. Additionally, we propose variants of the DeepCut method and compare those to a naive approach to CNN training under weak supervision. We test its applicability to solve brain and lung segmentation problems on a challenging fetal magnetic resonance dataset and obtain encouraging results in terms of accuracy.

연구 동기 및 목표

• 픽셀 단위 분할의 높은 애너테이션 비용 문제를 경계 상자 애너테이션을 통한 약한 지도 학습을 활용하여 해결하고자 한다.
• 형태와 외형이 유사한 기관(예: 태반 뇌 및 폐)에 대해 제한된 애너테이션으로도 분할 정확도를 향상시키고자 한다.
• 딥 러닝과 그래픽 모델을 결합하여 예측값과 학습 타깃을 반복적으로 개선하는 방법을 개발하고자 한다.
• 고도로 변동성이 큰 해부학적 특성을 보이는 실제 태반 MRI 데이터셋에서 이 방법의 실현 가능성과 강건성을 입증하고자 한다.

제안 방법

• 객체 분할을 조밀하게 연결된 조건부 랜덤 필드(CRF) 상에서 에너지 최소화 문제로 공식화하며, 외형 및 공간 사전 지식을 통합한다.
• 경계 상자 애너테이션을 기반으로 이미지 패치를 객체 또는 배경으로 분류하는 컨volutional 네ural 네트워크(CNN)를 훈련하며, 반복적인 타깃 개선 기법을 사용한다.
• 완전히 연결된 CRF를 적용하여 분할 결과를 정규화함으로써 픽셀 간 공간 일관성과 매끄러움을 강제한다.
• CRF가 예측한 분할 마스크를 사용하여 CNN의 학습 타깃을 반복적으로 업데이트함으로써 모델 일반화 능력을 향상시키는 피드백 루프를 구축한다.
• 초기화에 사전 분할 결과를 사용하는 DC_PS 및 경계 상자만으로 초기화하는 DC_BB와 같은 DeepCut의 변종을 도입하여 초기화 민감도를 평가한다.
• CRF 매개변수(예: 강도 및 공간 가중치)를 반복마다 최적화하여 분할 정확도를 향상시키는 통합 최적화 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 전체 픽셀 수준 애너테이션 없이 경계 상자 애너테이션만으로도 정확한 픽셀 단위 분할을 달성할 수 있는가?
• RQ2 CRF를 통한 학습 타깃의 반복적 개선이 기존의 약한 지도 학습 CNN 훈련 방식에 비해 분할 성능을 어떻게 향상시키는가?
• RQ3 초기화 방식(경계 상자 대비 사전 분할)이 분할 모델의 수렴성과 정확도에 미치는 영향은 무엇인가?
• RQ4 복잡한 의료 영상 작업에서 전통적인 방법(예: GrabCut)과 비교했을 때 DeepCut의 분할 정확도는 어떻게 다른가?
• RQ5 약한 지도 학습 데이터로 훈련된 CNN 모델이 태반 MRI의 다양한 해부학적 변동성에 대해 얼마나 잘 일반화되는가?

주요 결과

• DeepCut는 약한 지도 학습 하에서 단순한 CNN 훈련 방식보다 유의미하게 높은 Dice 스코어를 확보하여 뇌 및 폐 분할 작업 모두에서 뛰어난 성능을 보였다.
• 사전 분할 결과로 초기화해도 정확도가 유의미하게 향상되었으며, 사전 분할 결과가 완벽하지 않더라도 성능 향상이 관찰되어 초기화 품질에 대한 강건성을 입증했다.
• DeepCut는 태반 뇌 및 폐 구조의 분할 정확도를 높게 달성했으며, 뇌의 경우 대비 및 객체의 명확성 덕분에 폐보다 더 높은 평균 오버랩(Dice)을 기록했다.
• CRF 정규화가 특히 저대비 영역에서 잡음(가짜 양성)을 효과적으로 줄였으며, 이미지 특성에 맞게 조정된 CRF 매개변수(예: θβ)가 강도 차이를 적절히 반영했다.
• 특히 사전 분할 결과로 초기화된 DC_PS 변종은 성능의 표준편차가 낮아 GrabCut과 같은 기존 방법보다 더 높은 강건성을 보였다.
• CNN 훈련과 CRF 추론 간의 반복 피드백 루프가 더 나은 국소 최적점으로 수렴하게 하여, 단일 단계 훈련 대비 통합 최적화의 유용성을 입증했다.