[論文レビュー] Quantized Densely Connected U-Nets for Efficient Landmark Localization

Zhiqiang Tang, Xi Peng+4 more|arXiv (Cornell University)|Aug 7, 2018

Face recognition and analysis参考文献 39被引用数 12

ひとこと要約

本稿では、セマンティックレベルの密接接続を用いてスタックされたU-Net間でグローバルな特徴再利用を可能にすることで、効率的な視覚的ランドマーク局所化を実現する量子化済みの密集接続U-Net（DU-Net）を提案する。順序-K接続、メモリ効率の良い学習、反復的精錬、低ビット幅での重み・入力・勾配のエンドツーエンド量子化により、約70%少ないパラメータ、約98%小さいモデルサイズ、約75%少ない学習メモリを実現しながら、最先端の精度を達成している。

ABSTRACT

In this paper, we propose quantized densely connected U-Nets for efficient visual landmark localization. The idea is that features of the same semantic meanings are globally reused across the stacked U-Nets. This dense connectivity largely improves the information flow, yielding improved localization accuracy. However, a vanilla dense design would suffer from critical efficiency issue in both training and testing. To solve this problem, we first propose order-K dense connectivity to trim off long-distance shortcuts; then, we use a memory-efficient implementation to significantly boost the training efficiency and investigate an iterative refinement that may slice the model size in half. Finally, to reduce the memory consumption and high precision operations both in training and testing, we further quantize weights, inputs, and gradients of our localization network to low bit-width numbers. We validate our approach in two tasks: human pose estimation and face alignment. The results show that our approach achieves state-of-the-art localization accuracy, but using ~70% fewer parameters, ~98% less model size and saving ~75% training memory compared with other benchmark localizers. The code is available at https://github.com/zhiqiangdon/CU-Net.

研究の動機と目的

• ランドマーク局所化のためのスタックされたU-Netアーキテクチャにおける情報伝達の制限と冗長なパラメータ使用を解決すること。
• 同じ解像度のブロック間でグローバルかつセマンティックレベルの接続を可能にすることで、スタックされたU-Net間での特徴再利用を向上させること。
• パラメータ効率の良い設計と量子化を通じて、精度を損なわずモデルサイズと学習メモリ消費量を削減すること。
• 低ビット幅への重み・入力・勾配の量子化により、モバイルデバイスでの効率的な学習とデプロイを可能にすること。
• 反復的精錬を用いてモデルサイズを半分に削減しながら性能を維持できるかを調査すること。

提案手法

• パラメータ成長を二次関数的から線形に抑えるために、K番目に最近いU-Netにのみ接続する順序-K密接接続を提案する。
• すべての接続ブロックで事前に割り当てたメモリを再利用するメモリ効率の良い学習戦略を実装し、より深いDU-Netの学習を可能にする。
• 最初のDU-Netパスの出力を2回目のパスの入力として使用し、監視付きで処理する反復的精錬メカニズムを導入し、モデルサイズを半分に削減する。
• 重み・中間特徴入力・勾配を低ビット幅（例：8ビットまたはバイナリ）に量子化することで、メモリと計算コストを削減する。
• 重みのスケーリング因子とバイナリゼーションをBW-αバージョンで用い、精度を維持したままモデルをさらに圧縮する。
• 人間のポーズ推定と顔アラインメントのベンチマークを用いて、最先端の手法と比較してモデルを学習・評価する。

実験結果

リサーチクエスチョン

• RQ1 スタックされたU-Net間でグローバルな特徴再利用が、標準的なスタックされたU-Netと比較してランドマーク局所化の精度を向上させることができるか？
• RQ2 順序-K接続が、深層U-Netアーキテクチャにおいて精度とパラメータ効率の両立を効果的に実現できるか？
• RQ3 メモリ効率の良い実装により、高い接続性にもかかわらず非常に深いDU-Netモデルの学習が可能になるか？
• RQ4 反復的精錬により、モデルサイズを半分に削減しながらも競争力ある性能を維持できるか？
• RQ5 重み・入力・勾配のエンドツーエンド量子化により、顕著な精度低下を伴わずに学習メモリ消費量を削減できるか？

主な発見

• 提案されたDU-Netは、人間のポーズ推定と顔アラインメントの両ベンチマークで、最先端のランドマーク局所化精度を達成している。
• DU-Net-BW-α (16) は、300-WデータセットにおいてSOTA手法[23]と同等の性能を示したが、モデルサイズは約50倍小さくなった。
• 最先端の局所化手法と比較して、約70%少ないパラメータと約98%小さいモデルサイズを実現した一方で、約75%の学習メモリを削減した。
• 順序-K接続により、パラメータ成長がO(n²)からO(n)に抑えられ、大幅な効率向上が達成された。
• 重み・入力・勾配の量子化により、約75%の学習メモリ削減が可能となり、性能の低下は最小限に抑えられた。
• 反復的精錬アプローチにより、LSPおよび300-Wの両評価でモデルサイズを半分に削減しながらも、高い精度を維持できた。