[論文レビュー] Glance and Focus Networks for Dynamic Visual Recognition

Gao Huang, Yulin Wang+5 more|arXiv (Cornell University)|Jan 9, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、人間の視覚的注意に類似した動的推論フレームワークとして、GlanceおよびFocusネットワーク（GFNet）を提案する。まず、グローバルな低解像度特徴（glance）を処理し、その後、強化学習に基づく領域提案機構を用いて判別性の高い画像パッチ（focus）に適応的に注目する。この手法により、MobileNet-V3上で計算コストを最大1.3倍まで削減しつつ、精度に損なわれることなく、高解像度の画像および動画における効率的で適応的な推論を実現する。

ABSTRACT

Spatial redundancy widely exists in visual recognition tasks, i.e., discriminative features in an image or video frame usually correspond to only a subset of pixels, while the remaining regions are irrelevant to the task at hand. Therefore, static models which process all the pixels with an equal amount of computation result in considerable redundancy in terms of time and space consumption. In this paper, we formulate the image recognition problem as a sequential coarse-to-fine feature learning process, mimicking the human visual system. Specifically, the proposed Glance and Focus Network (GFNet) first extracts a quick global representation of the input image at a low resolution scale, and then strategically attends to a series of salient (small) regions to learn finer features. The sequential process naturally facilitates adaptive inference at test time, as it can be terminated once the model is sufficiently confident about its prediction, avoiding further redundant computation. It is worth noting that the problem of locating discriminant regions in our model is formulated as a reinforcement learning task, thus requiring no additional manual annotations other than classification labels. GFNet is general and flexible as it is compatible with any off-the-shelf backbone models (such as MobileNets, EfficientNets and TSM), which can be conveniently deployed as the feature extractor. Extensive experiments on a variety of image classification and video recognition tasks and with various backbone models demonstrate the remarkable efficiency of our method. For example, it reduces the average latency of the highly efficient MobileNet-V3 on an iPhone XS Max by 1.3x without sacrificing accuracy. Code and pre-trained models are available at https://github.com/blackfeather-wang/GFNet-Pytorch.

研究の動機と目的

• 高解像度の視覚認識における空間的冗長性を軽減すること。特に、分類にほとんど寄与しないピクセルが多数存在する点を対処する。
• 予測の信頼性が十分に高い場合に早期に推論を終了できる適応的推論を実現し、入力ごとの計算量を削減すること。
• 人為的アノテーション（バウンディングボックスやセグメンテーションマスク）を一切使用せず、分類ラベルのみを用いて判別性の高い画像領域を局所化すること。
• MobileNet や EfficientNet といった効率的なモデルと互換性を持つ汎用的でバックボーンに依存しないフレームワークを設計すること。
• 精度を損なわずにエッジデバイスで高い効率性を達成すること。

提案手法

• モデルは二段階のプロセスを用いる：まず、入力画像の低解像度版（例：96×96）を処理して初期のグローバル予測を生成する（グルアンドフォーカスステップ）。
• 信頼性が不十分な場合、強化学習エージェントが高解像度パッチ（フォーカスステップ）の提案を行う。
• 領域提案ネットワーク（π）は、2つのエンコーダーからの深層特徴に基づき、顕著でクラス判別性の高い領域を選択するように、方策勾配強化学習により学習される。
• 各推論ステップでは、入力サイズが段階的に小さくなるように設計されており、信頼性がしきい値を超えると早期終了が可能である。
• 本フレームワークは、任意の市販のバックボーン（例：MobileNet、EfficientNet、TSM）と互換性があり、アーキテクチャの変更を必要としない。
• 訓練には、分類精度と方策学習の両方をバランスさせる損失関数を用いた段階的プロセスが含まれる。

実験結果

リサーチクエスチョン

• RQ1 高解像度の視覚認識において、精度を損なわずに計算コストを削減できる動的で逐次的推論フレームワークは構築可能か？
• RQ2 バウンディングボックスやセグメンテーションアノテーションが一切ない状況下でも、分類ラベルのみを用いて効果的に判別性の高い画像領域を局所化できるか？
• RQ3 さまざまなバックボーンに対して、グルアンドフォーカス機構は静的モデルと比較して、待機時間と精度の両面で優れているか？
• RQ4 適応的視覚認識において、モデルの複雑さと推論効率の最適なトレードオフは何か？
• RQ5 本手法は、さまざまな視覚的タスクやバックボーンアーキテクチャに一般化可能か？

主な発見

• GFNetは、iPhone XS Max 上の MobileNet-V3 に対して、精度に損なわれることなく平均推論待機時間を1.3倍短縮した。
• グルアンドフォーカスステップ単体でも、高い信頼性で正しく分類される画像が多数存在し、粗いものから細かいものへの戦略の有効性が裏付けられた。
• パrameterとGRUユニットが極めて少ない軽量なパッチ提案ネットワークが、より複雑な設計と同等の性能を達成した。
• 信頼性に基づく早期終了基準は、ランダム終了やエントロピーに基づく基準よりも、精度と効率の両面で優れていた。
• 本手法は、ResNet-50、MobileNet-V3、EfficientNet など多様なバックボーンにおいても強力な性能を維持した。
• λ と 60～90 訓練エポックの調整が、飽和した性能を達成するのに十分であり、λ=1 かつ 60 エポックが強力なベースラインとなった。