[論文レビュー] Improving One-shot NAS by Suppressing the Posterior Fading

Xiang Li, Lin Chen+5 more|arXiv (Cornell University)|Oct 6, 2019

Video Surveillance and Tracking Methods参考文献 33被引用数 9

ひとこと要約

本稿では、動的で部分モデルプールを用いた段階的探索空間縮小により、重み共有NASにおける事後分布の希釭問題を軽減する1ショットニューラルアーキテクチャ探索法であるPosterior Convergent NAS (PC-NAS)を提案する。代理事後分布を真のパrameter事後分布に近づけることで、PC-NASは、小さな探索空間ではImageNetで76.8%のトップ1精度、大きな探索空間では78.1%を達成し、最先端の性能を実現した。また、厳密な遅延制約を満たしつつ、物体検出や再識別タスクへの高い汎用性を示した。

ABSTRACT

There is a growing interest in automated neural architecture search (NAS). To improve the efficiency of NAS, previous approaches adopt weight sharing method to force all models share the same set of weights. However, it has been observed that a model performing better with shared weights does not necessarily perform better when trained alone. In this paper, we analyse existing weight sharing one-shot NAS approaches from a Bayesian point of view and identify the posterior fading problem, which compromises the effectiveness of shared weights. To alleviate this problem, we present a practical approach to guide the parameter posterior towards its true distribution. Moreover, a hard latency constraint is introduced during the search so that the desired latency can be achieved. The resulted method, namely Posterior Convergent NAS (PC-NAS), achieves state-of-the-art performance under standard GPU latency constraint on ImageNet. In our small search space, our model PC-NAS-S attains 76.8 % top-1 accuracy, 2.1% higher than MobileNetV2 (1.4x) with the same latency. When adopted to the large search space, PC-NAS-L achieves 78.1 % top-1 accuracy within 11ms. The discovered architecture also transfers well to other computer vision applications such as object detection and person re-identification.

研究の動機と目的

• 重み共有NASにおける事後分布の希釭問題に取り組む。これは、モデル数が増えるにつれてKLダイバージェンスが増大し、共有重みが真のモデル性能を反映しなくなることが原因である。
• 代理事後分布を真のパrameter事後分布に一致させることで、共有重みのアーキテクチャランク付けにおける予測精度を向上させる。
• 高い性能とタスク間の汎用性を維持しながら、遅延制約を満たす効率的なアーキテクチャ探索を可能にする。
• 標準的なGPU遅延制約下で、既存の1ショットおよび進化的探索手法を上回る実用的でスケーラブルなNASフレームワークを開発する。

提案手法

• 1ショットNASをベイジアンモデル選択問題として定式化し、確率的視点から重み共有の限界を分析する。
• 事後分布の希釭を根本的問題と特定：スーパーグラフ内のモデル数が増えるにつれて、真の事後分布と代理事後分布とのKLダイバージェンスが増大する。
• 段階的な訓練プロセスを導入し、高パフォーマンスな部分モデルプールを維持・更新することで、探索空間を段階的に縮小する。
• 各訓練インターバルで、プールから部分モデルをサンプリングし、それらを完全モデルに拡張して再評価し、上位候補の新しい、より小さなプールを形成する。
• 探索中にハードな遅延制約を適用し、最終的なアーキテクチャがターゲット推論速度を満たすことを保証する。
• 縮小する探索空間を活用して事後分布の収束を向上させ、共有重みによる性能推定の信頼性を高める。

実験結果

リサーチクエスチョン

• RQ1 1ショットNASにおける共有重みが、個々のアーキテクチャの真の性能を予測できないのはなぜか？
• RQ2 スーパーグラフ内のモデル数が、真のパrameter事後分布と代理事後分布とのダイバージェンスに与える影響は何か？
• RQ3 動的かつ段階的な探索空間縮小戦略は、事後分布の収束とアーキテクチャランク付けの精度を向上させ得るか？
• RQ4 本手法は、厳密な遅延制約下で、標準的な1ショットおよび進化的探索をどの程度上回るか？
• RQ5 発見されたアーキテクチャは、物体検出や人物再識別といった下流タスクへどの程度適応可能か？

主な発見

• PC-NAS-Sは、MobileNetV2と同等の遅延（1.4倍）でImageNetで76.8%のトップ1精度を達成し、MobileNetV2を2.1%上回り、EfficientNet-B0よりも20%高速であった。
• より大きな探索空間において、PC-NAS-Lは11msの遅延制約内で78.1%のトップ1精度を達成し、同条件での前人最高性能を更新した。
• 共有重み精度とスタンドアロン精度のピアソン相関係数は、1ショットの0.11からPC-NASの0.92に上昇し、予測性能が著しく向上したことが示された。
• 進化的探索と組み合わせた場合、PC-NASで学習されたスーパーグラフは75.9%のトップ1精度を達成したが、これはPC-NAS-Lの2.2%低い結果であり、本手法が標準的な探索戦略を上回ることを証明した。
• PC-NAS-Lのバックボーンは、COCO物体検出で38.5 mAP、Market-1501再識別で81.0% mAPを達成し、パrameter数が少なく、推論が速いにもかかわらず、MobileNetV2を上回り、ResNet101に近い性能を示した。