[논문 리뷰] Parsing Occluded People by Flexible Compositions

Xianjie Chen, Alan Yuille|arXiv (Cornell University)|2014. 12. 04.

Human Pose and Action Recognition참고 문헌 34인용 수 4

한 줄 요약

이 논문은 심한 가림을 겪는 상황에서도 인간 품질 분석 성능을 향상시키기 위해 가시 부위를 연결된 부분 트리로 모델링하는 유연한 조합 구조를 도입한 유연한 복합 그래픽 모델을 제안한다. 이는 국소 이미지 특징과 증거 부재를 통해 가림 신호를 학습함으로써 이루어지며, 부위 공유를 통해 효율적인 추론을 가능하게 하여 We Are Family 데이터셋에서 기존 최고 성능보다 평균 PCP가 11.3% 높고 AOP가 4.9% 높은 성능을 달성한다.

ABSTRACT

This paper presents an approach to parsing humans when there is significant occlusion. We model humans using a graphical model which has a tree structure building on recent work [32, 6] and exploit the connectivity prior that, even in presence of occlusion, the visible nodes form a connected subtree of the graphical model. We call each connected subtree a flexible composition of object parts. This involves a novel method for learning occlusion cues. During inference we need to search over a mixture of different flexible models. By exploiting part sharing, we show that this inference can be done extremely efficiently requiring only twice as many computations as searching for the entire object (i.e., not modeling occlusion). We evaluate our model on the standard benchmarked "We Are Family" Stickmen dataset and obtain significant performance improvements over the best alternative algorithms.

연구 동기 및 목표

• 실세계 장면에서 신체 부위가 심하게 가려진 경우 정확한 인간 품질 분석을 해결하는 데 초점한다.
• 기존 모델들이 가림을 단순한 부위 누락 페널티로 다루며 무거운 잘림이나 부분적 가림 상황에서 실패하는 한계를 극복한다.
• 다양한 수준의 가림을 연결된 부분 트리의 혼합 형태로 명시적으로 표현하는 구조적 모델을 개발한다.
• 유연한 조합 간의 부위 공유를 통해 효율적인 추론을 실현함으로써, 가능한 조합의 조합적 증가에도 불구하고 근사 선형 스케일링을 달성한다.
• 연결성 사전 지식과 학습된 가림 신호의 조합을 통해 벤치마크 데이터셋에서 뚜렷한 성능 향상을 입증한다.

제안 방법

• 노드가 신체 부위를, 간선이 공간적 관계를 나타내는 트리 구조 그래픽 모델로 인간 신체를 모델링한다.
• 전체 그래픽 모델의 연결된 부분 트리인 '유연한 조합(flexible compositions)' 개념을 도입하여, 가림 상황에서 가능한 가시 구성 구조를 표현한다.
• 가림 경계 근처의 국소 측정치를 사용해 이미지 데이터에서 가림 신호를 학습한다 (IDOD 용어), 이는 간선 억제를 통해 가림에 대한 증거를 인코딩한다.
• 두 가지 유형의 가림 신호를 통합한다: (1) 기대되는 신체 부위 증거가 없는 경우 (예: 팔목이 팔꿈치 근처에 없음), (2) 관절 영역 근처의 국소 이미지 특징 (예: T자형, 질감 불연속성).
• 겹치는 유연한 조합 간에 계산을 재사용함으로써 효율적인 추론을 가능하게 하여, 단일 전체 모델 추론 비용의 두 배로만 비용이 증가한다.
• 라벨이 붙은 데이터를 사용해 종단 간 최적화를 통해 부위 구성과 가림 상태를 동시에 최적화하는 판별적 학습 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 가림된 장면에서 가시 부위가 연결된 부분 트리로 구성되는 정도는 어느 정도이며, 이는 연결성 사전 지식의 타당성을 검증하는가?
• RQ2 고정된 부위 모델과 비교해 가림을 다양한 유연한 조합의 혼합으로 모델링할 경우 품질 분석 정확도는 얼마나 향상되는가?
• RQ3 학습된 가림 신호(IDOD 용어)와 증거 부재 신호의 기여도는 가림에 대한 강건성 향상에 얼마나 기여하는가?
• RQ4 유연한 조합의 수가 많아져도 과도한 계산 비용 없이 효율적인 추론을 달성할 수 있는가?
• RQ5 We Are Family 벤치마크에서 제안된 모델은 PCP 및 AOP 지표에서 기존 최고 성능 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• WAF 데이터셋의 95.1%의 인간 인스턴스에서 가시 부위가 연결된 부분 트리를 형성하여, 모델에서 사용된 연결성 사전 지식의 타당성을 검증한다.
• 유연한 조합 모델(FC)은 가림을 명시적으로 모델링하지 않는 기본 모델 [6]보다 평균 PCP를 11.6% 향상시키고 AOP를 8.1% 향상시킨다.
• IDOD 가림 신호를 추가한 경우 (FC + IDOD) 평균 PCP는 80.7%로, AOP는 84.9%로 상승하여, 이는 기존 최고 성능 모델 [11]보다 평균 PCP에서 11.3% 높고 AOP에서 4.9% 높은 성능을 기록한다.
• 전체 모델은 WAF 데이터셋에서 최고 성능을 달성하였으며, 특히 가림이 가장 흔한 상지 및 하지 부위에서 뚜렷한 성능 향상을 보였다.
• 진단적 아블레이션 분석 결과, 유연한 조합과 IDOD 신호 모두 필수적임을 확인: 둘 중 하나를 제거하면 성능이 뚜렷이 저하된다.
• 모든 유연한 조합에 대한 추론 비용은 표준 전체 모델 추론 비용의 두 배에 불과하여, 효율적인 훈련 및 구현이 가능하다.