[논문 리뷰] Structured Feature Learning for Pose Estimation

Xiao Chu, Wanli Ouyang외 2명|arXiv (Cornell University)|2016. 03. 30.

Human Pose and Action Recognition참고 문헌 35인용 수 6

한 줄 요약

이 논문은 기존의 스코어맵 수준에서가 아니라 특징맵 수준에서 신체 관절 간의 공간적 관계와 동시 발생 관계를 기하학적 변환 커널을 사용하여 직접 모델링하는 구조적 특징 학습 프레임워크를 제안한다. 이중 트리 구조 메시지 전달 메커니즘을 활용함으로써 특징 표현을 향상시켜 LSP에서 80.8%의 평균 PCP, FLIC에서 95.2%의 평균 PCP를 달성하며, 복잡한 후처리 없이도 이전 방법들을 능가하는 최신 기술 수준의 성능을 확보한다.

ABSTRACT

In this paper, we propose a structured feature learning framework to reason the correlations among body joints at the feature level in human pose estimation. Different from existing approaches of modelling structures on score maps or predicted labels, feature maps preserve substantially richer descriptions of body joints. The relationships between feature maps of joints are captured with the introduced geometrical transform kernels, which can be easily implemented with a convolution layer. Features and their relationships are jointly learned in an end-to-end learning system. A bi-directional tree structured model is proposed, so that the feature channels at a body joint can well receive information from other joints. The proposed framework improves feature learning substantially. With very simple post processing, it reaches the best mean PCP on the LSP and FLIC datasets. Compared with the baseline of learning features at each joint separately with ConvNet, the mean PCP has been improved by 18% on FLIC. The code is released to the public.

연구 동기 및 목표

• 스코어맵이 아닌 특징맵 수준에서 신체 관절 간의 구조적 관계를 모델링하여 인간 자세 추정 성능을 향상시키기 위해.
• 관절 위치 정확도 향상을 위해 사지 방향, 가림 상태, 옷차림 외관 등의 풍부한 세부 정보를 특징맵에 유지하기 위해.
• 특징과 그 간의 상호관계를 동시에 학습하는 엔드 투 엔드 트레이너블 프레임워크를 개발하기 위해.
• 이중 트리 구조를 통해 상관 관계가 있는 이웃 관절로부터 유용한 특징을 수신할 수 있는 효율적인 메시지 전달 메커니즘을 설계하기 위해.

제안 방법

• 기본 컨볼루션 레이어를 사용하여 기하학적 변환 커널을 도입하여 서로 다른 신체 관절의 특징맵 간의 공간적 관계와 동시 발생 관계를 모델링한다.
• 상호 관련성이 있는 관절 간의 양방향 정보 흐름을 가능하게 하여 특징 표현을 향상시키기 위해 이중 트리 구조 메시지 전달 메커니즘을 적용한다.
• 컨볼루션 네트워크 기반 백본을 사용하여 특징맵과 그들의 구조적 관계를 엔드 투 엔드 딥 러닝 시스템에서 동시에 학습한다.
• 관절 간 상대 위치를 k-means 클러스터링을 통해 다수의 스코어맵으로 분할하여 외관 변화를 포괄함으로써 강건성을 향상시킨다.
• LSP와 같은 소규모 데이터셋에서 다양성을 높이기 위해 수평 반전 및 회전 등의 데이터 증강 기법을 적용한다.
• LSP(336×336 입력, 42×42 출력)와 FLIC에 대해 다양한 입력 및 출력 해상도 설정을 활용한 다중 해상도 특징 학습 전략을 사용한다.

실험 결과

연구 질문

• RQ1 특징맵 수준에서 관절 간의 구조적 관계를 모델링하는 것이 스코어맵 수준에서의 접근보다 더 나은 자세 추정 성능을 이끌 수 있는가?
• RQ2 특징맵에 유지된 풍부한 다차원 정보(예: 가림 상태, 옷차림, 사지 방향 등)를 효과적으로 활용하여 관절 예측 성능을 향상시킬 수 있는가?
• RQ3 관절 간 관련 특징을 체계적이고 학습 가능한 방식으로 집계하기 위한 최적의 메시지 전달 아키텍처는 무엇인가?
• RQ4 일방향 또는 비체계적 메시지 전달 대비 이중 트리 구조가 특징 학습 성능 향상에 기여하는가?
• RQ5 특징 수준에서 관절 간 관계를 학습함으로써 복잡한 후처리 기법에 대한 의존도는 어느 정도 감소하는가?

주요 결과

• 제안된 방법은 LSP 데이터셋에서 80.8%의 평균 PCP를 달성하여 이전 최신 기술 수준의 성능보다 5.8% 향상되었다.
• FLIC 데이터셋에서는 95.2%의 평균 PCP를 기록하여, 각 관절별로 독립적으로 특징을 학습하는 기본 컨볼루션 네트워크 대비 18% 향상된 성능을 보였다.
• 이중 트리 구조 모델은 단일 브랜치 모델 대비 5.4% 향상된 성능을 보이며, 이중 정보 흐름의 효과를 입증하였다.
• 관절당 다수의 스코어맵(관절 간 상대 위치의 k-means 클러스터링을 통한)을 사용함으로써 단일 스코어맵 학습 대비 추가로 1.8% 성능 향상을 달성하였다.
• 최소한의 후처리만으로도 복잡한 후처리 파이프라인에 의존하는 최신 기술 수준의 접근법들을 능가하는 성능을 보였다.
• 모든 신체 부위에서 일관되게 성능 향상을 보였으며, 하지와 팔에 특히 큰 향상이 관찰되어 도전적인 관절에 대한 강력한 일반화 능력을 입증하였다.