[논문 리뷰] EvoPose2D: Pushing the Boundaries of 2D Human Pose Estimation using Neuroevolution

William McNally, Kanav Vats외 2명|arXiv (Cornell University)|2020. 11. 17.

Human Pose and Action Recognition참고 문헌 36인용 수 17

한 줄 요약

EvoPose2D는 기능 유지 돌연변이를 완화하는 새로운 가중치 전이 기법을 도입한 신경진화기반 접근법을 제안하여 2D 인간 자세 추정의 아키텍처 탐색을 가속화한다. 이는 고도로 효율적이고 정확한 네트워크 발견을 가능하게 하며, EvoPose2D-S는 SimpleBaseline의 정확도를 유지하면서도 FLOPs는 4.9배, 파라미터 수는 13.5배 줄였다. EvoPose2D-L은 COCO에서 2.0배 적은 연산과 4.3배 적은 파라미터로 기존 최고 성능 모델을 초월하는 새로운 SOTA 성능을 달성했다.

ABSTRACT

Neural architecture search has proven to be highly effective in the design of computationally efficient, task-specific convolutional neural networks across several areas of computer vision. In 2D human pose estimation, however, its application has been limited by high computational demands. Hypothesizing that neural architecture search holds great potential for 2D human pose estimation, we propose a new weight transfer scheme that relaxes function-preserving mutations, enabling us to accelerate neuroevolution in a flexible manner. Our method produces 2D human pose network designs that are more efficient and more accurate than state-of-the-art hand-designed networks. In fact, the generated networks can process images at higher resolutions using less computation than previous networks at lower resolutions, permitting us to push the boundaries of 2D human pose estimation. Our baseline network designed using neuroevolution, which we refer to as EvoPose2D-S, provides comparable accuracy to SimpleBaseline while using 4.9x fewer floating-point operations and 13.5x fewer parameters. Our largest network, EvoPose2D-L, achieves new state-of-the-art accuracy on the Microsoft COCO Keypoints benchmark while using 2.0x fewer operations and 4.3x fewer parameters than its nearest competitor.

연구 동기 및 목표

• 2D 인간 자세 추정에 신경구조 탐색(NAS)을 적용할 경우 발생하는 높은 계산 비용을 해결하기 위해.
• 아키텍처 탐색에 소요되는 시간과 자원을 줄일 수 있는 융통성 있고 효율적인 신경진화 프레임워크를 개발하기 위해.
• 2D 인간 자세 추정을 위한 경량이지만 고도로 정확한 합성곱 신경망을 생성하기 위해.
• 낮은 계산 비용으로 고해상도 추론을 가능하게 하여 자세 추정의 경계를 확장하기 위해.
• COCO Keypoints 벤치마크에서 수작업 설계된 최신 기술 수준의 모델을 초월하는 정확도와 효율성 확보를 위해.

제안 방법

• 기능 유지 돌연변이를 완화하는 새로운 가중치 전이 기법을 제안하여 신경진화 과정에서 더 빠른 수렴을 가능하게 한다.
• 기울기 기반 최적화가 필요 없이 신경진화 기반으로 최적의 2D 인간 자세 추정 아키텍처를 탐색한다.
• 성능를 유지하면서도 계산 요구량을 크게 줄일 수 있는 융통성 있는 탐색 전략을 도입한다.
• COCO 데이터셋을 기반으로 진화 탐색을 통해 두 가지 모델—EvoPose2D-S(소형) 및 EvoPose2D-L(대형)—을 설계한다.
• 진화의 각 세대 간에 파라미터 공유에 대한 제약 조건을 완화하면서 아키텍처를 진화 및 전이하는 점진적 탐색 전략을 사용한다.
• 최종 아키텍처를 COCO Keypoints 벤치마크에서 평가하여 정확도와 효율성 측정

실험 결과

연구 질문

• RQ1 높은 계산 비용에도 불구하고 신경진화 기법이 2D 인간 자세 추정에 효과적으로 적용될 수 있는가?
• RQ2 가중치 전이 및 완화된 돌연변이 제약 조건은 자세 추정에서 신경진화 과정을 어떻게 가속화하는가?
• RQ3 진화된 아키텍처는 수작업 설계된 모델보다 더 높은 정확도와 효율성을 달성할 수 있는가?
• RQ4 진화된 아키텍처를 사용해 계산 자원을 줄이면서도 고해상도 추론을 얼마나 높이기 가능한가?
• RQ5 신경진화 기법을 통해 정확도와 FLOPs/파라미터 효율성 측면에서 최신 기술 수준의 성능을 초월하는 모델을 생성할 수 있는가?

주요 결과

• EvoPose2D-S는 SimpleBaseline와 동일한 COCO 키포인트 정확도를 달성하면서도 FLOPs는 4.9배 줄이고 파라미터 수는 13.5배 줄였다.
• EvoPose2D-L은 COCO 키포인트 벤치마크에서 새로운 최고 성능을 기록했으며, 가장 가까운 경쟁자보다 뛰어난 성능을 보였다.
• EvoPose2D-L는 다음으로 좋은 모델 대비 FLOPs는 2.0배 줄이고 파라미터 수는 4.3배 줄여 뛰어난 효율성을 입증했다.
• 제안된 가중치 전이 기법은 성능을 저하시키지 않으면서도 신속한 신경진화를 가능하게 하여, 자세 추정 분야에서 NAS의 실현 가능성을 높였다.
• 진화된 네트워크는 이전에 저해상도에서 작동하던 모델보다 더 높은 해상도의 이미지를 더 적은 계산으로 처리할 수 있었다.
• 결과적으로 신경진화 기법이 2D 인간 자세 추정 분야에서 수작업 설계된 아키텍처를 초월하는 정확도와 효율성을 동시에 확보할 수 있음을 확인했다.