[논문 리뷰] Multi-Person Pose Estimation via Column Generation

Shaofei Wang, Chong Zhang외 3명|arXiv (Cornell University)|2017. 09. 18.

Human Pose and Action Recognition참고 문헌 14인용 수 3

한 줄 요약

이 논문은 두 계층 계층적 구조—지역적 파트 그룹화와 확장된 트리 구조를 통한 전반적 자세 모델링—을 사용한 새로운 정수선형계획법(ILP) 설정을 제안한다. 이는 맞춤형 컬럼 생성 알고리즘과 결합되어, MPII 벤치마크에서 최신 기준 성능을 달성하며, 손목과 발목과 같이 어려운 신체 부위의 국소화 정확도를 향상시킨다. 이는 [12]보다 100배 빠르고 [15]보다 더 정확하며, 더 단순한 간선 구조와 순수 파이썬 코드를 사용하고 있음에도 불구하고 성능을 뛰어넘는다.

ABSTRACT

We study the problem of multi-person pose estimation in natural images. A pose estimate describes the spatial position and identity (head, foot, knee, etc.) of every non-occluded body part of a person. Pose estimation is difficult due to issues such as deformation and variation in body configurations and occlusion of parts, while multi-person settings add complications such as an unknown number of people, with unknown appearance and possible interactions in their poses and part locations. We give a novel integer program formulation of the multi-person pose estimation problem, in which variables correspond to assignments of parts in the image to poses in a two-tier, hierarchical way. This enables us to develop an efficient custom optimization procedure based on column generation, where columns are produced by exact optimization of very small scale integer programs. We demonstrate improved accuracy and speed for our method on the MPII multi-person pose estimation benchmark.

연구 동기 및 목표

• 다양한 인물 간의 가림, 변형된 신체 구성, 알려지지 않은 인원 수 등의 과제를 해결하기 위해 다인자세 추정 문제를 다루기 위해.
• 기존 방법에서 자주 잘못 검출되는 손목과 발목과 같은 어려운 신체 부위의 국소화 정확도를 향상시키기 위해.
• 자세 모델에서 밀도 있는 상호작용을 피하기 위해 계산 비용이 큰 최적화 프레임워크를 개선하기 위해.
• 구조적 변수 설계를 통해 비최대 억제(NMS)를 자세 추정 모델에 자연스럽게 통합하기 위해.
• 효율적인 컬럼 생성 기반의 잘 구조화된 ILP 설정이 뛰어난 속도-정확도 트레이드오프를 달성할 수 있음을 보여주기 위해.

제안 방법

• 지역적 할당은 각 파트에 대한 다수의 검출 결과를 그룹화하고, 전반적 자세는 확장된 트리 구조를 통해 해부학적 일관성을 강제하는 두 계층의 정수선형계획법(ILP)으로 다인자세 추정 문제를 설정한다.
• 컬럼 생성 기법을 사용하여 ILP를 해결하며, 가격 설정 하위문제는 트리 구조 자세 모델에서 동적 프로그래밍을 통해 해결되어 효율적인 컬럼 생성이 가능하다.
• 소규모 정확한 정수계획법을 사용하여 컬럼을 생성함으로써 히우리스틱적 완화에 의존하지 않고도 고품질의 해를 확보한다.
• 다른 사람의 비전역 검출 간의 잡음이 많은 상호작용을 제외하는 비용 함수를 도입하여 국소화의 강건성을 향상시킨다.
• 필요에 따라 크기가 3인 오드셋 부등식을 적용하여 선형계획법(LP) 근사를 강화하지만, 일반적으로 정수해는 종료 시 직접 확보된다.
• 검출 수가 적은 자세를 억제하기 위해 휴리스틱 가중치 ω = 30을 사용하여 더 완전하고 신뢰할 수 있는 구성에 기여한다.

실험 결과

연구 질문

• RQ1 구조적으로 정렬된 지역 및 전반적 구성 요소를 가진 두 계층 ILP 설정이 완전히 연결된 모델에 비해 다인자세 추정의 정확도 향상에 기여하는가?
• RQ2 트리 구조 자세 모델에서 동적 프로그래밍 기반 컬럼 생성이 기존 ILP 솔버에 비해 더 빠르고 정확한 추론을 가능하게 하는가?
• RQ3 비전역 검출 간의 잡음이 많은 상호작용을 제외함으로써 손목과 발목과 같이 검출이 어려운 신체 부위의 국소화 정확도 향상이 가능한가?
• RQ4 구조적 모델이 비최대 억제(NMS)와 같은 후처리 단계의 필요성을 얼마나 줄일 수 있는가?
• RQ5 최근 최신 기준 성능 방법들인 [15]과 비교했을 때, 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가, 특히 어려운 신체 부위에서의 성능은 어떠한가?

주요 결과

• 제안된 방법은 MPII 다인자세 추정 벤치마크에서 평균 정밀도(mAP) 79.1을 달성하여 [15](78.5)와 [12](78.8)를 능가한다.
• 어려운 부위의 정확도가 향상됨: 손목의 경우 70.1(비교 대상 [15]의 68.6 대비), 발목의 경우 66.6(비교 대상 [15]의 65.2 대비).
• 더 단순한 간선 구조(적은 상호작용 수)를 사용하고도 [12]와 [15]가 완전히 연결된 모델을 사용하는 것보다 더 높은 정확도를 달성한다.
• 순수 파이썬으로 구현되었음에도 불구하고, [12]보다 100배 빠르고 [15]보다 10배 빠르게 실행된다.
• 일반적으로 추가 강화 없이도 LP 근사가 정수해를 직접 제공하므로, 설정의 강력한 정수성 성질을 보여준다.
• 좌측 엉덩이에서 좌측 어깨, 우측 엉덩이에서 우측 어깨, 어깨에서 머리로의 추가 3개 간선을 도입함으로써 mAP는 78.8에서 79.1로 향상되었고, 런타임 비용은 거의 증가하지 않았다.