[논문 리뷰] Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation

Luanxuan Hou, Jie Cao외 5명|arXiv (Cornell University)|2020. 03. 17.

Human Pose and Action Recognition참고 문헌 40인용 수 4

한 줄 요약

이 논문은 상향식 인간 자세 추정을 위한 보완된 평행 피라미드 네트워크(P² Net)를 제안하며, Attention Partial Module(APM)과 미분 가능 자동 데이터 증강 기법을 포함한다. 평행 피라미드를 통해 공간적 및 의미적 정보를 유지하고, APM을 통해 다중 척도 특징을 동적으로 융합함으로써 COCO 및 MPII 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성한다. COCO에서 82.5 AP, MPII에서 92.4 PCKh@0.5의 성능을 기록하였다.

ABSTRACT

The target of human pose estimation is to determine body part or joint locations of each person from an image. This is a challenging problems with wide applications. To address this issue, this paper proposes an augmented parallel-pyramid net with attention partial module and differentiable auto-data augmentation. Technically, a parallel pyramid structure is proposed to compensate the loss of information. We take the design of parallel structure for reverse compensation. Meanwhile, the overall computational complexity does not increase. We further define an Attention Partial Module (APM) operator to extract weighted features from different scale feature maps generated by the parallel pyramid structure. Compared with refining through upsampling operator, APM can better capture the relationship between channels. At last, we proposed a differentiable auto data augmentation method to further improve estimation accuracy. We define a new pose search space where the sequences of data augmentations are formulated as a trainable and operational CNN component. Experiments corroborate the effectiveness of our proposed method. Notably, our method achieves the top-1 accuracy on the challenging COCO keypoint benchmark and the state-of-the-art results on the MPII datasets.

연구 동기 및 목표

• 복잡한 자세와 배경을 가진 제약 없는 환경에서 가려진 또는 보이지 않는 관절점 검출 문제를 해결한다.
• 기존 피라미드 네트워크에서의 다운샘플링으로 인한 특징 맵 정보 손실 문제를 해결하면서도 계산 효율성을 유지한다.
• 업샘플링 기반의 정밀 조정 방식을 대체하여 학습 가능한 주의 메커니즘을 도입함으로써 다중 척도 표현 간의 특징 융합을 향상시킨다.
• 수작업 또는 강화학습 기반 방법 대신, 미분 가능하고 종단 간(end-to-end) 학습이 가능한 접근 방식을 통해 자세 추정을 위한 데이터 증강 정책 탐색을 자동화한다.
• 중량이 무거운 모델 아키텍처에 의존하지 않고 표준 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 기본 브랜치와 병렬적으로 고해상도 특징을 학습하는 평행 피라미드 구조(ParallelNet)를 도입하여, 기존 상향식 네트워크에서 잃어버리는 공간적 세부 정보를 유지한다.
• 채널 기반 주의 가중치를 학습하여 다양한 척도의 특징을 적응적으로 융합하는 Attention Partial Module(APM)을 설계함으로써, 단순 연결 또는 업샘플링 대비 특징 표현을 향상시킨다.
• 표준 업샘플링 기반 정밀 조정 방식을 대체로 확장된 버티컬 블록 구조를 도입하여 넓은 수신장과 고해상도 특징을 유지한다.
• 증강 시퀀스를 네트워크 내에서 학습 가능한, 미분 가능한 구성요소로 설정함으로써 기하급수적 검색이 가능한 미분 가능 자동 데이터 증강 기법(Auto-Pose)을 제안한다.
• 초기화된 하이퍼파라미터인 색상 왜곡, 미스업, 컷아웃 등을 포함하는 새로운 자세 특화 증강 정책 탐색 공간을 정의하며, 학습 중에 이들을 함께 최적화한다.
• 상향식 파ipeline을 사용한다: 먼저 DetNet을 통해 사람을 검출하고, 그 후에 P² Net에 APM과 자동 증강 기법을 적용하여 각 검출된 바운딩 박스 내에서 관절점 히트맵을 예측한다.

실험 결과

연구 질문

• RQ1 평행 피라미드 아키텍처는 계산 비용 증가 없이도 깊이 있는 자세 추정 네트워크에서 공간적 및 의미적 정보를 효과적으로 유지할 수 있는가?
• RQ2 주목적 기반 특징 융합 메커니즘(APM)이 관절점 정위치에 있어 표준 업샘플링 및 연결 방식보다 다중 척도 특징 융합에서 우월한 성능을 보일 수 있는가?
• RQ3 미분 가능 자동 증강 기법은 수작업 또는 강화학습 기반 증강 방식에 비해 일반화 및 정확도 향상에 뚜렷한 기여를 할 수 있는가?
• RQ4 실제 환경에서의 가림 및 큰 자세 변화가 존재하는 도전적인 벤치마크(MS COCO 및 MPII)에서 제안된 방법의 성능은 어떠한가?
• RQ5 사람 검출기의 선택이 최종 관절점 추정 정확도에 어느 정도 영향을 미치며, 더 나은 검출기는 별도의 자세 헤드 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 P² Net은 MS COCO test-dev 데이터셋에서 82.5 AP를 기록하여 새로운 최신 기술 수준 성능을 달성하였다.
• MPII 벤치마크에서 92.4 PCKh@0.5의 성능을 기록하여, 이전 최신 기술 수준 메서드인 HRNet-W32를 초월하였다.
• 제거 실험 결과 APM이 주어진 기준선 대비 0.3점의 AP 향상을 보이며 특징 융합에서의 효과성을 입증하였다.
• 미분 가능 자동 증강 구성요소는 성능 향상에 기여하며, 다양한 테스트 조건에서의 강건성과 일반화 능력 향상이 확인되었다.
• SimpleBaseline(47.5M vs. 68.6M)에 비해 더 적은 파라미터로도 뛰어난 정확도를 달성하여 파라미터 효율성이 뛰어나다는 것을 보여주었다.
• 검출기 제거 실험 결과, 높은 사람 검출 mAP가 반드시 더 높은 관절점 AP로 이어지는 것은 아니며, 검출 품질 자체보다 관절점 헤드 성능이 더 중요하다는 점을 시사하였다.