[논문 리뷰] Joint Graph Decomposition and Node Labeling: Problem, Algorithms, Applications

Evgeny Levinkov, Jonas Uhrig외 8명|arXiv (Cornell University)|2016. 11. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 15

한 줄 요약

이 논문은 그래프 분해와 노드 레이블링을 동시에 모델링하는 새로운 NP-난이도 조합 최적화 프레임워크인 최소비용노드라벨링업그레이드멀티컷문제(nl-lmp)를 제안한다. 이는 근사 보장을 갖지 않지만 매 단계에서 실현 가능한 해를 제공하는 통합 nl-lmp 공식화를 통해 다중 객체 추적, 인스턴스 분리 세그멘테이션, 관절이 있는 인간 자세 추정과 같은 다양한 컴퓨터 비전 작업에서 최신 기술 성능(SOTA)을 달성하는 두 가지 국소 탐색 알고리즘 KLj/r 및 KLj*r를 제안한다. 이 알고리즘들은 국소 최적해로 단조롭게 수렴한다.

ABSTRACT

We state a combinatorial optimization problem whose feasible solutions define both a decomposition and a node labeling of a given graph. This problem offers a common mathematical abstraction of seemingly unrelated computer vision tasks, including instance-separating semantic segmentation, articulated human body pose estimation and multiple object tracking. Conceptually, the problem we state generalizes the unconstrained integer quadratic program and the minimum cost lifted multicut problem, both of which are NP-hard. In order to find feasible solutions efficiently, we define two local search algorithms that converge monotonously to a local optimum, offering a feasible solution at any time. To demonstrate their effectiveness in tackling computer vision tasks, we apply these algorithms to instances of the problem that we construct from published data, using published algorithms. We report state-of-the-art application-specific accuracy for the three above-mentioned applications.

연구 동기 및 목표

• 다중 객체 추적, 인스턴스 분리 세그멘테이션, 관절이 있는 인간 몸체 자세 추정과 같이 보기에 다소 관련이 없는 것으로 보이는 다양한 컴퓨터 비전 작업들을 단일 조합 최적화 프레임워크로 통합하는 것.
• 비제약 정수 이차계획문제(uiqp)와 최소비용업그레이드멀티컷문제(lmp)의 일반화를 정의하여 그래프 분해와 노드 레이블링을 동시에 모델링하는 것.
• 국소 최적해로 단조롭게 수렴하는 효율적인 국소 탐색 알고리즘을 개발하여, 하한 계산 없이도 언제나 실현 가능한 해를 제공하는 것.
• 실세계 벤치마크에서 제안된 프레임워크와 알고리즘의 효과성을 입증하여, 응용 분야에 특화된 최신 기술 성능을 달성하는 것.
• 코드를 오픈소스로 제공하여 컴퓨터 비전과 조합 최적화 분야 간의 교차 분야 협업을 촉진하는 것.

제안 방법

• uiqp와 lmp를 일반화하여 노드 레이블링이 컴포넌트 형성에 영향을 주고, 반대로 컴포넌트 형성도 레이블링에 영향을 주는 nl-lmp 문제를 제안한다.
• 두 가지 국소 탐색 알고리즘인 KLj/r(교차 케르니건-린과 함께한 조인 및 재할당)와 KLj*r(통합 케르니건-린과 함께한 조인 및 재할당)를 정의하며, 이는 반복적으로 해 품질을 향상시키기 위해 설계되었다.
• 알고리즘은 노드를 컴포넌트에 재할당하고 레이블을 변경하는 국소 이동을 번갈아 수행하며, 레이블링 비용과 분해 비용을 균형 잡는 목적 함수에 따라 이동이 유도된다.
• 알고리즘은 하한을 계산하지 않으며, 따라서 매 반복에서 실현 가능한 해를 반환하는 원시 해 히우리스틱이다.
• 노드를 융합하거나 분리할 때의 비용이 레이블에 따라 달라지는 복잡한 비용 함수를 허용하여, 시각적 관계를 더 풍부하게 모델링할 수 있다.
• 알고리즘은 KITTI, Cityscapes, MOT16 벤치마크와 같은 실세계 데이터에 적용되었으며, 공개된 검출 및 임bedding 특징을 사용하여 nl-lmp 인스턴스를 구성했다.

실험 결과

연구 질문

• RQ1 그래프 분해와 노드 레이블링이 필요한 다양한 컴퓨터 비전 작업들을 단일 조합 최적화 프레임워크로 통합할 수 있는가?
• RQ2 분해와 레이블링의 동시 최적화는 기존의 NP-난이도 문제인 uiqp와 lmp의 일반화로 어떻게 공식화할 수 있는가?
• RQ3 국소 최적해로 단조롭게 수렴하는 국소 탐색 알고리즘이 다중 객체 추적 및 인스턴스 세그멘테이션과 같은 작업에서 기존 방법을 능가할 수 있는가?
• RQ4 동일한 알고리즘 프레임워크가 작업별 특화 재설정 없이도 다양한 비전 작업에서 최신 기술 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 제안된 프레임워크는 분해와 레이블링을 별도로 해결하는 기존 접근법보다 더 정확하고 효율적인 해를 제공할 수 있는가?

주요 결과

• 제안된 KLj/r 및 KLj*r 알고리즘은 MOT16 다중 객체 추적 벤치마크에서 최신 기술 성능(MOTA: 47.6, MOTP: 78.5)을 달성하여 [36] 및 기타 최고 성능 기법을 능가한다.
• KLj/r는 [36]이 보고한 6,373개의 가짜 양성과 90,914개의 가짜 음성보다도 낮은 가짜 양성(5,844개)과 가짜 음성(89,093개)을 기록하여 검출 및 추적 정확도 향상을 시사한다.
• KLj/r의 프레임당 평균 역수 실행 시간(Hz)은 8.3으로, 다른 방법들보다 뚜렷이 높아 뛰어난 계산 효율성을 보여준다.
• Cityscapes 데이터셋에서, 동일한 입력 특징을 사용함에도 불구하고 이 프레임워크는 이전에 발표된 어떤 작업보다 더 정확한 인스턴스 분리 세그멘테이션 결과를 달성한다.
• MPII 인간 자세 데이터셋에서, 원래의 브랜치 앤 컷 방법이 하한을 계산했음에도 불구하고, 더 큰 문제 인스턴스를 더 빠르게 해결함으로써 기존 방법보다 더 정확한 자세 추정을 가능하게 했다.
• 그림 4에서 KLj/r 및 KLj*r의 수렴이 경험적으로 검증되었으며, KLj/r가 KLj*r보다 더 빠르게 수렴하면서 동일한 목적 함수 값을 달성함을 보였다.