[논문 리뷰] Exploiting skeletal structure in computer vision annotation with Benders decomposition

Shaofei Wang, Konrad P. Körding외 1명|arXiv (Cornell University)|2017. 09. 13.

Machine Learning and Data Classification참고 문헌 24인용 수 4

한 줄 요약

이 논문은 다인용 자세 추정에서 뼈대 구조를 활용하기 위해 벤더스 분해를 통해 뼈대 최적화와 국소 할당 최적화를 분리하는 새로운 분해 접근법인 벤더스 컬럼 생성(BCG)을 제안한다. 순수 컬럼 생성보다 빠른 수렴 속도와 더 낮은 경계를 달성하며, 각 부위별 하위 문제를 독립적으로 해결하므로 컴퓨터 시각 분야의 복잡한 정수선형계획형식(ILP)에서 추론 속도와 해 품질을 크게 향상시킨다.

ABSTRACT

Many annotation problems in computer vision can be phrased as integer linear programs (ILPs). The use of standard industrial solvers does not to exploit the underlying structure of such problems eg, the skeleton in pose estimation. The leveraging of the underlying structure in conjunction with industrial solvers promises increases in both speed and accuracy. Such structure can be exploited using Bender's decomposition, a technique from operations research, that solves complex ILPs or mixed integer linear programs by decomposing them into sub-problems that communicate via a master problem. The intuition is that conditioned on a small subset of the variables the solution to the remaining variables can be computed easily by taking advantage of properties of the ILP constraint matrix such as block structure. In this paper we apply Benders decomposition to a typical problem in computer vision where we have many sub-ILPs (eg, partitioning of detections, body-parts) coupled to a master ILP (eg, constructing skeletons). Dividing inference problems into a master problem and sub-problems motivates the development of a plethora of novel models, and inference approaches for the field of computer vision.

연구 동기 및 목표

• 표준 ILP 솔버가 다인용 자세 추정(MPPE)에서 기저의 뼈대 구조를 활용하지 못해 계산 효율성이 떨어지는 문제를 해결하기 위해.
• 인간 자세의 계층적이고 트리 구조적인 특성을 최적화에 활용하여 추론 속도와 해 품질을 향상시키기 위해.
• 기존 방법보다 정수 변수와 연속 변수를 더 효과적으로 분리하는 분해 프레임워크를 개발하여 수렴 속도를 높이기 위해.
• 벤더스 분해를 통해 하위 문제의 병렬화를 가능하게 하면서도 강한 이중성 경계를 유지하기 위해.
• 부위별 하위 문제를 독립적으로 해결할 수 있음을 보여주어 통합형 수식보다 확장성 향상을 이룰 수 있도록 하기 위해.

제안 방법

• MPPE의 이중계층 수식(TTF)을 뼈대에 대한 마스터 문제와 국소 할당에 대한 하위 문제를 포함하는 혼합정수선형계획형식(MILP)으로 재구성한다.
• 벤더스 분해를 적용하여 마스터 문제(뼈대)와 하위 문제(국소 할당)를 분리하고, 마스터 해에 조건부로 각각 독립적으로 해결한다.
• 수요에 따라 이중 하위 문제를 사용하여 위반된 제약 조건을 생성하고, 반복적으로 마스터 문제에 추가한다.
• 정적 프로그래밍과 명시적 순열을 활용하여 가격 설정 단계에서 고품질의 뼈대와 국소 할당을 식별한다.
• 각 부위별 하위 문제의 이중 문제로부터 유도된 컷을 사용하여 마스터 문제를 이중 기반 컬럼 생성 전략으로 해결한다.
• 기존의 단일 집계 하위 문제를 사용하는 벤더스와 달리, 각 신체 부위가 자체 하위 문제를 가지는 새로운 분해 방식을 도입한다.

실험 결과

연구 질문

• RQ1 벤더스 분해는 다인용 자세 추정과 같은 컴퓨터 시각 애너테이션 문제에서 기저의 뼈대 구조를 효과적으로 활용할 수 있는가?
• RQ2 벤더스 분해를 통해 뼈대와 국소 할당 최적화를 분리하면 순수 컬럼 생성보다 수렴 속도가 빠르고 더 낮은 경계를 달성할 수 있는가?
• RQ3 부위별 하위 문제를 독립적으로 해결하면서도 강한 이중성과 전역 최적성을 유지할 수 있는가?
• RQ4 실제 MPPE 인스턴스에서 BCG는 순수 컬럼 생성(PCG)에 비해 해 품질과 계산 시간 측면에서 어떻게 비교되는가?
• RQ5 벤더스 분해를 통해 라그랑주 이완에 의존하지 않고도 하위 문제의 효율적 병렬화를 가능하게 할 수 있는가?

주요 결과

• BCG는 순수 컬럼 생성(PCG)보다 더 빠른 수렴 속도와 더 낮은 이중성 갭을 달성한다. 이는 688개 문제 인스턴스에 대한 시간 대비 정규화된 갭 그래프를 통해 입증되었다.
• 계산 시간이 크게 감소하였으며, PCG에 비해 더 많은 비율의 문제들이 짧은 시간 한계 이내에 완료되었다. 누적 히스토GRAM을 통해 이를 입증하였다.
• BCG는 더 낮은 이중성 경계를 제공하여, 종료 시 상한과 하한 간의 갭이 더 작은 문제의 비율이 더 높았다.
• 이 방법은 뼈대 최적화와 국소 할당 최적화를 성공적으로 분리하여, 독립적이고 병렬화 가능한 하위 문제 해결을 가능하게 하였다.
• BCG 과정에서 선형계획형식 솔버에서 수치적 불안정성이 관찰되었으나, PCG에서는 그렇지 않았다. 이는 분해 프레임워크에서 솔버 민감도가 존재할 수 있음을 시사한다.
• 부위별 하위 문제의 사용은 더 세밀하고 효율적인 컷 생성을 가능하게 하여 전체 수렴 행동을 향상시켰다.