[論文レビュー] Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification

Yulin Wang, Kangchen Lv+4 more|arXiv (Cornell University)|Oct 11, 2020

Advanced Neural Network Applications被引用数 87

ひとこと要約

GFNet は強化学習に導かれて小さな画像パッチを順次処理（まず glance、次に focus）することにより空間的冗長性を削減し、精度を維持しつつ計算量を抑えた適応推論を実現します。

ABSTRACT

The accuracy of deep convolutional neural networks (CNNs) generally improves when fueled with high resolution images. However, this often comes at a high computational cost and high memory footprint. Inspired by the fact that not all regions in an image are task-relevant, we propose a novel framework that performs efficient image classification by processing a sequence of relatively small inputs, which are strategically selected from the original image with reinforcement learning. Such a dynamic decision process naturally facilitates adaptive inference at test time, i.e., it can be terminated once the model is sufficiently confident about its prediction and thus avoids further redundant computation. Notably, our framework is general and flexible as it is compatible with most of the state-of-the-art light-weighted CNNs (such as MobileNets, EfficientNets and RegNets), which can be conveniently deployed as the backbone feature extractor. Experiments on ImageNet show that our method consistently improves the computational efficiency of a wide variety of deep models. For example, it further reduces the average latency of the highly efficient MobileNet-V3 on an iPhone XS Max by 20% without sacrificing accuracy. Code and pre-trained models are available at https://github.com/blackfeather-wang/GFNet-Pytorch.

研究の動機と目的

• 高解像度画像分類における空間冗長性を活用して計算量を削減する動機付け。,
• 小さな入力を適応的に処理し、確信が持てた時に終了する2段階フレームワーク（glance と focus）を開発する。
• 効率的な推論のために軽量バックボーン（例: MobileNet、EfficientNet、RegNet）との互換性を確保する。

提案手法

• ダウンサンプリングされた全体画像から始まる小さな入力のシーケンスを処理する（glance）。
• 後続の focus ステップのために識別可能な領域を局在化するパッチ提案ネットワークを使用する。
• 各ステップで予測を出力し、信頼度に基づく早期終了を行う再帰的分類器を採用する。
• パッチ選択を方策勾配法で訓練し、クラス確率の漸増ゲインを最大化する。
• 設定可能な信頼度閾値（予算付き／ anytime 設定）によるオンライン計算制御を可能にする。
• 特徴を線形に分離可能にするようエンコーダを正則化して局在化を改善することを任意で行う。

実験結果

リサーチクエスチョン

• RQ1 逐次的なパッチベース処理戦略は高解像度画像で計算量を削減しつつ分類精度を維持できるか？
• RQ2 識別性の高い領域をどう選択し、画像間で計算をどう適応的に割り当てるべきか？
• RQ3 予算付きおよび anytime 推論タスクにおいて、GFNet は最先端の軽量 CNN バックボーンでどう性能を発揮するか？
• RQ4 視線のような glance ステップと focus ステップの精度と待機時間に与える影響は何か？

主な発見

• GFNet は MobileNet-V3、RegNet-Y、EfficientNet、ResNet、DenseNet バックボーン全体で一貫して効率を向上させる。
• MobileNet-V3 では、同程度の精度で Multiply-Adds を最大 1.4x 削減する。
• ResNets および DenseNets では、同一の精度で計算量をおおよそ 2–3x 削減する。
• iPhone XS Max では、関連バックボーンで潜在的な待ち時間を約 1.3x から 2.9x 縮める。
• GFNet は精度の損失を最小限に抑えつつ予算に合わせた計算量をオンラインで調整可能にする。
• GFNet は MSDNet などのベースラインと比較して、予算付きバッチ分類と anytime 予測において競争力のある、あるいはそれ以上の精度を達成する。