[논문 리뷰] Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information

Kai Su, Dongdong Yu외 3명|arXiv (Cornell University)|2019. 05. 09.

Human Pose and Action Recognition참고 문헌 25인용 수 8

한 줄 요약

이 논문은 채널 셔플 모듈(CSM)을 도입하여 크로스스케일 채널 간 특징 통신을 향상시키고, 공간 및 채널별 주의 메커니즘을 통합한 공간-채널 주의 잔차 블록(SCARB)을 제안함으로써 다인수 자세 추정을 위한 새로운 상향식 접근법을 제시한다. 이 방법은 ResNet-152 백본을 사용하여 COCO test-dev 데이터셋에서 74.6 AP의 최신 기준 성능을 달성한다.

ABSTRACT

Multi-person pose estimation is an important but challenging problem in computer vision. Although current approaches have achieved significant progress by fusing the multi-scale feature maps, they pay little attention to enhancing the channel-wise and spatial information of the feature maps. In this paper, we propose two novel modules to perform the enhancement of the information for the multi-person pose estimation. First, a Channel Shuffle Module (CSM) is proposed to adopt the channel shuffle operation on the feature maps with different levels, promoting cross-channel information communication among the pyramid feature maps. Second, a Spatial, Channel-wise Attention Residual Bottleneck (SCARB) is designed to boost the original residual unit with attention mechanism, adaptively highlighting the information of the feature maps both in the spatial and channel-wise context. The effectiveness of our proposed modules is evaluated on the COCO keypoint benchmark, and experimental results show that our approach achieves the state-of-the-art results.

연구 동기 및 목표

• 다인수 자세 추정을 위한 다중 해상도 특징 맵에서 채널 간 및 공간 정보 활용이 제한되는 문제를 해결하기 위해.
• 특징 피라미드 내 다양한 해상도 수준 간의 특징 통신을 향상시켜 특징 표현을 개선하기 위해.
• 주목적 메커니즘을 통해 융합된 특징 맵에서 가장 관련성이 높은 공간적 및 채널 별 특징을 적응적으로 강조하기 위해.
• 상향식 프레임워크를 사용하여 COCO 关절 키포인트 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 채널 셔플 모듈(CSM)은 서로 다른 해상도 수준(Conv-2에서 Conv-5까지)의 특징 맵에 대해 채널 셔플 연산을 적용하여 저수준 및 고수준 특징 간의 크로스채널 정보 흐름을 촉진한다.
• CSM은 차원 감소 후에 셔플된 특징 맵(S-Conv-2에서 S-Conv-5까지)과 원본 특징 맵(Conv-2에서 Conv-5까지)을 결합하여 향상된 피라미드 특징을 형성한다.
• 공간-채널 주의 잔차 블록(SCARB)은 공간적 및 채널 별 주의 메커니즘을 잔차 블록에 통합하여 공간적 및 채널 차원에서 특징 반응을 적응적으로 재조정한다.
• SCARB는 특징 융합 이후에 스택되어 향상된 피라미드 특징을 정밀하게 다듬으며, 관절 예측을 위한 표현 품질을 향상시킨다.
• 이 방법은 L2 손실와 온라인 하드 키포인트 마이닝을 사용하여 훈련하는 캐스케이드드 피라미드 네트워크(CPN) 프레임워크 내에서 평가된다.
• 모델 추론은 성능 및 강인성을 향상시키기 위해 테스트 시 시간에 증강 기법을 사용하여 뒤집힌 및 기울인 입력을 활용한다.

실험 결과

연구 질문

• RQ1 다중 해상도 특징 맵 간의 채널 셔플 연산이 크로스채널 정보 통신을 향상시키고 자세 추정 정확도를 높일 수 있는가?
• RQ2 잔차 블록 내에서 공간적 및 채널 별 주의 메커니즘을 통합할 경우 자세 추정을 위한 특징 표현 향상에 어느 정도 기여하는가?
• RQ3 융합된 특징에서 채널 별 및 공간적 정보를 향상시키는 것이 COCO 벤치마크에서 일관된 성능 향상으로 이어지는가?
• RQ4 다양한 인간 검출 품질 조건에서 제안된 방법의 성능가 기존 최신 기준 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 방법은 ResNet-152 백본과 테스트 시 시간 증강을 사용하여 COCO test-dev 데이터셋에서 74.6 AP를 달성하며, 이는 이전 최신 기준을 초월한다.
• 추가 훈련 데이터 없이 단일 모델로도 ResNet-152 백본과 384×288 입력 크기를 사용하여 COCO test-dev에서 74.3 AP를 달성한다.
• 동일한 입력 크기(256×192)를 사용할 때 기준 CPN 대비 2.7 AP 향상되며, 제안된 모듈의 효과를 입증한다.
• Simple Baselines보다 낮은 인간 검출 AP(58.1 vs. 60.9)를 기록했음에도 불구하고, 자세 추정 AP는 더 높은 74.3 vs. 73.8을 기록하여, 자세 추정기 품질이 검출기 품질보다 더 중요함을 시사한다.
• 시각화 결과는 CPN이 실패하는 경우, 예를 들어 가림, 가까운 상호작용 등 도전적인 상황에서도 모델이 더 잘 일반화됨을 보여준다.
• 제거 실험 결과, CSM 및 SCARB 모두 기여가 크며, 특히 기준 모델에 추가했을 때 SCARB가 가장 큰 성능 향상을 기록한다.