[論文レビュー] Pose Neural Fabrics Search

Sen Yang, Wankou Yang+1 more|arXiv (Cornell University)|Sep 16, 2019

Human Pose and Action Recognition参考文献 71被引用数 12

ひとこと要約

この論文では、人体の構造的事前知識を活用して、異なる身体部位に特化したニューラルアーキテクチャを自動で発見する、部位特化型のニューラルアーキテクチャ探索フレームワークであるPose Neural Fabrics Search (PoseNFS) を提案する。微分可能でセルベースのニューラルファブリック探索空間を導入し、勾配ベースの同期最適化を用いることで、比較的手法よりも低いFLOPsとパラメータ数でMPIIおよびCOCOキーポイント検出ベンチマークで最先端の性能を達成する。

ABSTRACT

Neural Architecture Search (NAS) technologies have emerged in many domains to jointly learn the architectures and weights of the neural network. However, most existing NAS works claim they are task-specific and focus only on optimizing a single architecture to replace a human-designed neural network, in fact, their search processes are almost independent of domain knowledge of the tasks. In this paper, we propose Pose Neural Fabrics Search (PoseNFS). We explore a new solution for NAS and human pose estimation task: part-specific neural architecture search, which can be seen as a variant of multi-task learning. Firstly, we design a new neural architecture search space, Cell-based Neural Fabric (CNF), to learn micro as well as macro neural architecture using a differentiable search strategy. Then, we view locating human keypoints as multiple disentangled prediction sub-tasks, and then use prior knowledge of body structure as guidance to search for multiple part-specific neural architectures for different human parts. After search, all these part-specific CNFs have distinct micro and macro architecture parameters. The results show that such knowledge-guided NAS-based architectures have obvious performance improvements to a hand-designed part-based baseline model. The experiments on MPII and MS-COCO datasets demonstrate that PoseNFS\footnote{Code is available at \url{https://github.com/yangsenius/PoseNFS}} can achieve comparable performance to some efficient and state-of-the-art methods.

研究の動機と目的

• 既存のNAS手法がタスク特化型のドメイン知識を無視するという制限に対処すること、特に人体ポーズ推定のような密予測タスクにおいて。
• 人体の構造的事前知識を用いて、異なる身体部位のためのマイクロおよびマクロアーキテクチャを統合的に最適化する探索フレームワークを開発すること。
• 部位ベースのポーズ推定モデルの性能を、部位ごとに特化したニューラルアーキテクチャを学習することで向上させること。
• 標準ベンチマークで競争力のある精度を維持しつつ、計算コストとモデルの複雑さを低減すること。

提案手法

• 微分可能で連続的な形でマイクロおよびマクロアーキテクチャパラメータを符号化するセルベースのニューラルファブリック（CNF）探索空間を提案し、勾配ベースの探索に適した形に設計する。
• 再離散化を回避することで探索時間と計算コストを削減する勾配ベースの同期最適化戦略を導入する。
• 人体ポーズ推定を、人体構造の解剖学的事前知識に基づいた、部位ごとの分離されたサブタスクとしてのマルチタスク学習問題としてモデル化する。
• 画像上のキーポイントをベクトル表現として扱うことで、部位特化型アーキテクチャにおける空間モデリングと特徴学習を強化する。
• バックボーン（例：MobileNet-v2、HRNet）から得られる共有の特徴ピラミッドを、それぞれ異なる演算組み合わせを持つ複数の部位特化型CNFに供給する。
• 探索後、プルーニングとモデル圧縮技術を適用することで、精度の著しい低下を伴わずにモデルサイズとFLOPsをさらに削減する。

実験結果

リサーチクエスチョン

• RQ1 人体構造の事前知識は、人体ポーズ推定のためのニューラルアーキテクチャ探索を向上させることができるか？
• RQ2 微分可能でスケーラブルな探索空間（CNF）は、部位特化型ネットワークのマイクロおよびマクロアーキテクチャを効果的に学習できるか？
• RQ3 提案手法は、キーポイント検出タスクにおいて、共有アーキテクチャや手作業設計アーキテクチャを上回る性能を発揮するか？
• RQ4 提案手法は、最先端のモデルと比較して、低いFLOPsとパラメータ数で競争力のある性能を達成できるか？

主な発見

• MPIIデータセットでは、知識蒸留やアンサンブル手法を一切使用していないにもかかわらず、PoseNFSは91.0 AP（9.4G FLOPs）を達成し、FPD（91.1 AP、9.0G FLOPs）と同等の性能を示した。
• COCO test-dev2017では、バリデーションで72.3 AP（gt bbox）、73.0 AP（検出bbox）を達成し、1つのGPUで約20 FPSで実行された。
• AP-FLOPs曲線から、精度と効率性のバランスに優れた性能を示しており、いくつかの最先端手法を上回るか、同等の性能を達成した。
• 実験により、キーポイントをベクトルエンティティとして表現することで、探索空間内での特徴学習と空間モデリングが向上することが確認された。
• アブレーションスタディの結果、事前知識を活用することで、手作業設計の部位ベースベースラインよりも顕著な性能向上が得られた。
• 連続パラメータ空間からアーキテクチャをサンプリングしても、探索プロセスが安定して効果的であることが確認され、スーパーネットと子ネットの間の「不整合ギャップ」が存在しないことが裏付けられた。