[논문 리뷰] A-expansion for multiple "hedgehog" shapes

Hossam Isack, Yuri Boykov외 1명|arXiv (Cornell University)|2016. 02. 02.

Medical Image Segmentation Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 사용자가 정의한 벡터장(예: 스크래치 또는 거리 변환에서 유도된 것)에 의해 정의된 '헤지혹'(hedgehog) 형태 사전을 사용하는 새로운 다중 객체 분할 프레임워크를 제안한다. 이 프레임워크는 A-expansion을 통해 부분모듈라(regularization)를 적용하여 각 객체의 표면 법선을 제약함으로써 형태 일관성을 강화한다. 이는 겹치는 색상과 약한 에지가 존재하는 경우, 특히 의료 영상에서 분할 정확도를 크게 향상시키며, 그래프 컷 최적화를 통해 계산 효율성도 유지한다.

ABSTRACT

Overlapping colors and cluttered or weak edges are common segmentation problems requiring additional regularization. For example, star-convexity is popular for interactive single object segmentation due to simplicity and amenability to exact graph cut optimization. This paper proposes an approach to multiobject segmentation where objects could be restricted to separate "hedgehog" shapes. We show that a-expansion moves are submodular for our multi-shape constraints. Each "hedgehog" shape has its surface normals constrained by some vector field, e.g. gradients of a distance transform for user scribbles. Tight constraint give an extreme case of a shape prior enforcing skeleton consistency with the scribbles. Wider cones of allowed normals gives more relaxed hedgehog shapes. A single click and +/-90 degrees normal orientation constraints reduce our hedgehog prior to star-convexity. If all hedgehogs come from single clicks then our approach defines multi-star prior. Our general method has significantly more applications than standard one-star segmentation. For example, in medical data we can separate multiple non-star organs with similar appearances and weak or noisy edges.

연구 동기 및 목표

• 다중 객체 상황에서 흔히 발생하는 겹치는 색상 표현과 약하거나 혼잡한 에지와 같은 분할 과제를 해결하기 위해.
• 스타-볼록성(star-convexity)을 일반화하고 다수의 서로 다른 객체 형태를 지원하는 유연하고 사용자 친화적인 형태 정규화 방법을 개발하기 위해.
• 복잡한 형태 사전을 갖는 다중 레이블 마르코프 무작위 필드(MRFs)의 효율적 최적화를 A-expansion 이동을 통해 가능하게 하기 위해.
• 대규모 데이터셋이 필요하고 고정된 토폴로지를 가정하는 학습 기반 형태 모델(예: SSM, DSM)에 대한 실용적인 대안을 제공하기 위해.

제안 방법

• 사용자가 정의한 벡터장(예: 스크래치의 기울기 또는 거리 변환의 기울기)에 의해 정의된 원뿔(cone) 내에 각 픽셀의 표면 법선이 위치하도록 하는 '헤지혹' 형태 사전을 제안한다.
• 지역 벡터장에서 유도된 허용 가능한 엣지 방향 집합 𝒪(θ)를 정의하여 각 픽셀에서 가능한 분할 표면의 제약을 설정한다.
• 각 객체에 대해 독립적인 형태 제약을 허용하는 다중 헤지혹 사전을 도입함으로써, 스타-볼록형이 아닌, 유사한 외관을 지닌, 또는 토폴로지가 복잡한 구조의 분할을 가능하게 한다.
• 제안된 다중 헤지혹 제약 하에서 A-expansion 이동이 여전히 부분모듈라(submodular)임을 증명하여, s/t 그래프 컷을 통한 전역 최적 근사 최적화가 가능함을 보여준다.
• 공백이거나 표현이 부족한 극좌표 원뿔(polar cones)과 같은 이산화 아티팩트를 해결하기 위해 히우리스틱 수단(예: 근접한 이웃 간선 추가 또는 일관하지 않은 제약 제거)을 제안한다.
• 벡터장의 급격한 변화로 인한 갈등을 해결하기 위해 벡터장 보간과 엣지 제거를 사용하여 과잉 제약화 및 자명한 해를 방지한다.

실험 결과

연구 질문

• RQ1 스타-볼록성을 일반화하면서도 효율적 최적화에 적합한, 다소의 사용자 중심의 형태 사전을 설계할 수 있는가?
• RQ2 학습 데이터가 필요 없이 다중 레이블 MRF 프레임워크에서 다수의 서로 다른 객체 형태를 동시에 정규화할 수 있는가?
• RQ3 헤지혹 모델과 같은 복잡한 형태 사전에 적용할 때 A-expansion 알고리즘이 어떤 조건에서 부분모듈라성을 유지하는가?
• RQ4 헤지혹 제약 형식화에서 발생하는 주요 이산화 아티팩트는 무엇이며, 정확도를 저하시키지 않고 이를 어떻게 완화할 수 있는가?
• RQ5 유사한 강도와 약한 경계를 지닌 의료 영상에서 헤지혹 사전이 분할의 모호성을 효과적으로 해결할 수 있는가?

주요 결과

• 제안된 헤지혹 형태 사전은 스타-볼록성을 일반화한다: 단일 클릭에 ±90° 법선 제약을 적용하면 표준 스타-볼록 사전으로 축소되며, 더 넓은 원뿔은 더 많은 형태의灵活性를 허용한다.
• 모든 헤지혹이 단일 클릭에서 유래할 경우, 다중 스타-분할이 가능해지며, 이는 한 객체 사전의 적용 범위를 다수의 객체로 확장한다.
• 다중 헤지혹 제약 하에서 A-expansion 알고리즘이 여전히 부분모듈라성을 유지하여 그래프 컷을 통한 효율적이고 보장된 근사 최적화가 가능하다.
• 의료 영상에서는 표면이 유사하고 에지 신호가 약한 다수의 장기를 분리하는 데 표준 Potts 모델보다 성능이 뛰어나며, 특히 에지 신호가 신뢰할 수 없을 때 유의미한 향상이 있다.
• 공백이거나 표현이 부족한 극좌표 원뿔 문제는 제약 집합에 근접한 이웃 간선을 추가함으로써 완화되었으며, 이는 강건성을 향상시켰다.
• 빠르게 변화하는 벡터장으로 인한 과잉 제약을 방지하기 위해 보간된 벡터장을 기반으로 일관하지 않은 엣지 제약을 제거함으로써 비자명한 분할 솔루션을 복원할 수 있었다.