[논문 리뷰] Pose Neural Fabrics Search

Sen Yang, Wankou Yang외 1명|arXiv (Cornell University)|2019. 09. 16.

Human Pose and Action Recognition참고 문헌 71인용 수 12

한 줄 요약

이 논문은 인간 신체의 구조적 사전 지식을 활용하여 다양한 신체 부위에 적합한 독립적인 신경망 아키텍처를 자동으로 탐색하는 부분 특화 신경망 아키텍처 탐색 프레임워크인 Pose Neural Fabrics Search (PoseNFS)를 제안한다. 기저의 가속화된 연속적 형태로 표현된 기반 신경섬유 탐색 공간과 기울기 기반 동기화 최적화 기법을 도입함으로써, 기존 방법들과 비교해 더 낮은 FLOPs와 파라미터 수로 MPII 및 COCO keypoint 검출 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Neural Architecture Search (NAS) technologies have emerged in many domains to jointly learn the architectures and weights of the neural network. However, most existing NAS works claim they are task-specific and focus only on optimizing a single architecture to replace a human-designed neural network, in fact, their search processes are almost independent of domain knowledge of the tasks. In this paper, we propose Pose Neural Fabrics Search (PoseNFS). We explore a new solution for NAS and human pose estimation task: part-specific neural architecture search, which can be seen as a variant of multi-task learning. Firstly, we design a new neural architecture search space, Cell-based Neural Fabric (CNF), to learn micro as well as macro neural architecture using a differentiable search strategy. Then, we view locating human keypoints as multiple disentangled prediction sub-tasks, and then use prior knowledge of body structure as guidance to search for multiple part-specific neural architectures for different human parts. After search, all these part-specific CNFs have distinct micro and macro architecture parameters. The results show that such knowledge-guided NAS-based architectures have obvious performance improvements to a hand-designed part-based baseline model. The experiments on MPII and MS-COCO datasets demonstrate that PoseNFS\footnote{Code is available at \url{https://github.com/yangsenius/PoseNFS}} can achieve comparable performance to some efficient and state-of-the-art methods.

연구 동기 및 목표

• 기존 NAS 방법들이 밀도 높은 예측 작업(예: 인간 자세 추정)에서 작업 특화 도메인 지식을 忽시하는 한계를 해결하기 위해.
• 신체 부위별로 다른 구조적 사전 지식을 활용해 마이크로 및 매크로 아키텍처를 동시에 최적화하는 탐색 프레임워크를 개발하기 위해.
• 각 신체 부위에 맞는 전문화된 신경망 아키텍처를 학습시켜 부분 기반 자세 추정 모델의 성능을 향상시키기 위해.
• 표준 벤치마크에서 경쟁력 있는 정확도를 유지하면서 계산 비용과 모델 복잡도를 줄이기 위해.

제안 방법

• 기울기 기반 탐색에 적합한 연속적이고 미분 가능한 형태로 마이크로 및 매크로 아키텍처 파rameter를 모두 포함한 셀 기반 신경섬유(CNF) 탐색 공간을 제안한다.
• 탐색 후 재디스크리티제이션을 방지함으로써 탐색 시간과 계산 비용을 줄이기 위해 기울기 기반 동기화 최적화 전략을 도입한다.
• 해부학적 사전 지식을 기반으로 각 신체 부위별로 분리된 하위 작업을 가진 다중 작업 학습 문제로 인간 자세 추정을 모델링한다.
• 이미지 위치의 키포인트를 벡터 표현으로 사용하여 부분 특화 아키텍처에서 공간 모델링과 특징 학습을 향상시킨다.
• 공통의 특징 피라미드(예: MobileNet-v2, HRNet)를 배경 기반으로 사용하여 다수의 부분 특화 CNF에 입력을 제공하며, 각 CNF는 고유한 연산 조합을 가진다.
• 탐색 이후에 프루닝 및 모델 압축 기법을 적용하여 정확도의 큰 손실 없이 모델 크기와 FLOPs를 추가로 감소시킨다.

실험 결과

연구 질문

• RQ1 인간 신체의 사전 지식이 인간 자세 추정을 위한 신경망 아키텍처 탐색에 도움이 될 수 있는가?
• RQ2 기울기 기반으로 가속화된 확장 가능한 탐색 공간(CNF)이 부분 특화 네트워크의 마이크로 및 매크로 아키텍처를 효과적으로 학습할 수 있는가?
• RQ3 부분 특화 아키텍처 탐색이 키포인트 검출 작업에서 공유 또는 수작업 설계된 아키텍처보다 우수한 성능을 내는가?
• RQ4 제안된 방법이 최첨단 모델들과 비교해 낮은 FLOPs와 파라미터 수로 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MPII 데이터셋에서 PoseNFS는 지식 정제나 앙상블 기법 없이도 9.4G FLOPs로 91.0 AP를 달성했으며, FPD(91.1 AP, 9.0G FLOPs)와 유사한 성능을 보였다.
• COCO test-dev2017에서 모델은 검증 세트에서 72.3 AP(정답 박스 기준) 및 73.0 AP(검출 박스 기준)를 기록했으며, 단일 GPU에서 약 20 FPS로 실행되었다.
• AP-FLOPs 곡선에서 볼 수 있듯이 정확도와 효율성 사이의 유리한 트레이드오프를 달성했으며, 몇몇 최첨단 방법들을 능가하거나 동등하게 성능을 내었다.
• 실험 결과 키포인트를 벡터 엔티티로 표현함으로써 탐색 공간 내에서 특징 학습과 공간 모델링이 향상됨을 확인했다.
• 절단 실험 결과 사전 지식을 활용한 경우 수작업 설계된 부분 기반 기반선 대비 성능 향상이 뚜렷하게 나타났다.
• 연속적 파arameter 공간에서 아키텍처를 샘플링해도 탐색 과정이 안정적이고 효과적이었으며, 슈퍼넷과 자식 네트워크 간의 '일致성 갭'이 존재하지 않음을 검증했다.