[논문 리뷰] Efficient Decomposition of Image and Mesh Graphs by Lifted Multicuts

Margret Keuper, Evgeny Levinkov외 4명|arXiv (Cornell University)|2015. 05. 26.

Medical Image Segmentation Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 그래프 분해에서 장거리 제약 조건을 가능하게 하는 최소 비용 다중컷 문제의 일반화인 업그레이드된 다중컷 문제(Lifted Multicut Problem, LMP)를 소개한다. 인접한 노드 간의 관계를 넘어서 모든 노드 쌍 간의 관계를 고려하는 다중컷 설정을 확장함으로써, 저자들은 이미지(BSDS-500) 및 메시(프린스턴) 분할 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하는 효율적인 원시 휴리스틱을 개발하였다. 이는 LMP의 효과성과 시각 응용 분야에서의 일반성에 대한 증거이다.

ABSTRACT

Formulations of the Image Decomposition Problem as a Multicut Problem (MP) w.r.t. a superpixel graph have received considerable attention. In contrast, instances of the MP w.r.t. a pixel grid graph have received little attention, firstly, because the MP is NP-hard and instances w.r.t. a pixel grid graph are hard to solve in practice, and, secondly, due to the lack of long-range terms in the objective function of the MP. We propose a generalization of the MP with long-range terms (LMP). We design and implement two efficient algorithms (primal feasible heuristics) for the MP and LMP which allow us to study instances of both problems w.r.t. the pixel grid graphs of the images in the BSDS-500 benchmark. The decompositions we obtain do not differ significantly from the state of the art, suggesting that the LMP is a competitive formulation of the Image Decomposition Problem. To demonstrate the generality of the LMP, we apply it also to the Mesh Decomposition Problem posed by the Princeton benchmark, obtaining state-of-the-art decompositions.

연구 동기 및 목표

• 이미지 및 메시 그래프에서 인접하지 않은 노드 간의 장거리 관계를 처리하는 데에 표준 다중컷 문제(MP)의 한계를 해결한다.
• 밀도 높은 픽셀 격자 그래프에서 MP를 해결하는 데 있어 NP-난이도 및 실용적 비가용성 문제를 해결하기 위해, 목적 함수 표현력이 향상된 일반화된 설정을 제안한다.
• 이전에는 계산 및 모델링 제약으로 인해 회피되었던 전체 픽셀 격자 그래프에 다중컷 기반 분해를 적용하기 위해 장거리 비용 항을 통합함으로써 가능하게 한다.
• 이미지 및 메시 분할을 포함한 다양한 그래프 분해 작업에 대해 제안된 설정의 일반성과 효과성을 입증한다.
• 실세계 시각 벤치마크에서 MP 및 새로운 LMP 설정에 대한 효율적인 원시 가용 휴리스틱을 개발하고 평가한다.

제안 방법

• 모든 노드 쌍이 서로 다른 컴포넌트에 속해 있을 경우에만 목적 함수 비용을 할당하는 표준 MP의 일반화인 최소 비용 업그레이드된 다중컷 문제(LMP)를 제안한다.
• MP 및 LMP 인스턴스를 해결하기 위한 두 가지 효율적인 원시 가용 휴리스틱 알고리즘(케링한-린 알고리즘의 확장 포함)을 설계한다.
• 메시의 경우 삼각형 하나에 하나의 노드를 할당하는 이중 그래프 표현을 사용하여 컴포넌트 간 관계를 모델링하고, LMP 설정을 메시 분해에 적용한다.
• 프린스턴 벤치마크에서 이웃하는 컴포넌트 간 컷 확률을 지도 학습을 통해 학습하기 위해 랜덤 포레스트 분류기를 사용하고, 이에 대해 한 개씩 제외한 교차 검증(leave-one-out cross-validation)을 실시한다.
• 정점 및 간선에서 계산된 다중 척도 기하 특징(곡률, 형태 지름, 이면각)을 활용하여 28차원 엣지 특징을 유도한다.
• 이웃 컴포넌트 간 컷의 사전 확률 $p^*$를 조절하여 과분할 및 과소분할을 효과적으로 제어하며, 하이퍼파rameter 민감도에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 장거리 제약 조건을 포함한 일반화된 다중컷 설정이 표준 MP에 비해 이미지 및 메시 그래프에서 분할 정확도를 향상시킬 수 있는가?
• RQ2 효율적인 원시 휴리스틱이 밀도 높은 픽셀 격자 그래프에서 MP 및 LMP를 해결함으로써 이전에 계산적으로 비가능시켰던 문제를 얼마나 효과적으로 해결할 수 있는가?
• RQ3 LMP 설정이 의미적 레이블링 없이도 이미지 및 메시 분할 벤치마크에서 최신 기술 수준의 방법과 동등하거나 슈퍼어리어할 수 있는가?
• RQ4 LMP에서 하이퍼파rameter인 사전 컷 확률 $p^*$ 및 거리 임계값 $d^*$에 따라 결과가 얼마나 민감하게 변하는가?
• RQ5 통일된 알고리즘 프레임워크를 통해 LMP 설정이 이미지 및 메시 분해에 효과적으로 적용될 수 있는가?

주요 결과

• LMP 설정은 BSDS-500 벤치마크에서 최신 기술 수준과 유의미하게 다를 바 없이 높은 분할 품질을 달성하여 이미지 분할에서의 경쟁력을 입증한다.
• 프린스턴 메시 분할 벤치마크에서 Alg. 2를 사용한 LMP는 [42, 33]보다 略적으로 뛰어난 결과를 내며, [24]의 최신 기술 수준 성능과도 가까운 성능을 기록하였다. 이는 의미적 레이블링 없이도 성능을 달성했다는 점에서 뜻깊다.
• 메시 모델당 평균 계산 시간은 업그레이드 단계에서 51초, Alg. 2에서 59초였으며, 2.20 GHz 인텔 i7 랩탑에서 측정되었고, 그래프 평균 노드 수는 18,000개, 간선 수는 27,000개였다.
• 컷의 사전 확률 $p^*$를 0.5에서 0.62로 변화시킴으로써 과분할 및 과소분할를 효과적으로 제어할 수 있었으며, 이는 그림 5에서 확인할 수 있다.
• LMP 설정은 이전에 표준 MP에서 모델링되지 않았던 장거리 비용 항을 가능하게 하며, 서로 다른 컴포넌트에 속한 모든 노드 쌍에 목적 함수 값을 할당한다.
• 이 방법은 기존 연구에서 수백 개의 특징을 사용한 것에 비해 28차원 기하 특징만으로도 높은 성능을 달성하여 특징 차원 수를 크게 감소시켰다.