[論文レビュー] Resolution Adaptive Networks for Efficient Inference

Le Yang, Yizeng Han+4 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Neural Network Applications参考文献 2被引用数 21

ひとこと要約

本論文は、サンプルの難易度に応じて入力解像度を動的に調整することで計算効率を向上させる、新しい自己適応推論フレームワークであるResolution Adaptive Networks（RANet）を提案する。容易で信頼性の高いサンプルは軽量な低解像度サブネットワークを経由し、難易度の高いサンプルについては高解像度処理を予約することで、空間的冗長性を低減し、CIFAR-10、CIFAR-100、ImageNetの各データセットにおいて、いつでも予測（anytime）および予算制約付きバッチ分類（budgeted）の両設定下でも、精度を損なわず推論を高速化する。

ABSTRACT

Adaptive inference is an effective mechanism to achieve a dynamic tradeoff between accuracy and computational cost in deep networks. Existing works mainly exploit architecture redundancy in network depth or width. In this paper, we focus on spatial redundancy of input samples and propose a novel Resolution Adaptive Network (RANet), which is inspired by the intuition that low-resolution representations are sufficient for classifying "easy" inputs containing large objects with prototypical features, while only some "hard" samples need spatially detailed information. In RANet, the input images are first routed to a lightweight sub-network that efficiently extracts low-resolution representations, and those samples with high prediction confidence will exit early from the network without being further processed. Meanwhile, high-resolution paths in the network maintain the capability to recognize the "hard" samples. Therefore, RANet can effectively reduce the spatial redundancy involved in inferring high-resolution inputs. Empirically, we demonstrate the effectiveness of the proposed RANet on the CIFAR-10, CIFAR-100 and ImageNet datasets in both the anytime prediction setting and the budgeted batch classification setting.

研究の動機と目的

• 入力サンプルにおける空間的冗長性を活用することで、深層畳み込みニューラルネットワーク（CNN）推論における計算非効率性を是正すること。
• 容易に分類可能な画像に対して不要な高解像度特徴計算を削減すること。
• 予測の信頼性に基づいて解像度を動的に適応させる推論メカニズムを設計すること。
• いつでも予測（anytime prediction）および予算制約付きバッチ分類（budgeted batch classification）の両設定において、効率性を向上させること。
• ほとんどのサンプルに対して低周波数の粗い特徴が十分であり、細部の情報は難易度の高いケースでのみ必要であることを実証すること。

提案手法

• 入力の解像度を段階的に高めたサブネットワークを備えたマルチスケール密度ネットワークアーキテクチャを採用する。
• 各サブネットワークが予測を出力し、信頼性がしきい値を超えると、以降の処理を中止して即座に出力を返す。
• 低解像度特徴を再利用し、高解像度サブネットワークに統合することで、特徴の一貫性と効率性を維持する。
• 早期終了の判定基準として、ソフトマックス確率を信頼性指標として用いる。
• 難易度の高いサンプルが細部を必要とするため、高解像度パスを維持する。
• 入力に依存する動的計算が可能となり、不要な空間演算を削減する。

実験結果

リサーチクエスチョン

• RQ1 大規模で代表的な特徴を持つ『容易』な画像の分類に、低解像度表現で十分なのか？
• RQ2 予測の信頼性に基づく早期終了が、精度を損なわず計算コストを削減できるか？
• RQ3 解像度の適応により、高解像度入力における空間的冗長性はどの程度低減できるか？
• RQ4 いつでも予測および予算制約付き設定の両方において、RANetは深さや幅に基づく自己適応推論を上回る効率性を達成できるか？
• RQ5 どの種類の画像が一貫して『難易度の高い』と分類され、高解像度処理を必要とするか？

主な発見

• RANetは、容易なサンプルに対して早期終了を可能にすることで、計算コストを顕著に削減する。容易なサンプルは通常、低解像度特徴で分類可能である。
• CIFAR-10およびCIFAR-100では、RANetはベースラインモデルと同等の精度を達成しながら、いつでも予測設定下で最大40％のFLOPs削減を実現した。
• 予算制約付きバッチ分類設定では、同じFLOP予算下で標準モデルと比較してトップ-1精度を最大2.1％向上させた。
• 複数の物体、小さな物体、代表的特徴が欠落している画像は、一貫して『難易度の高い』と分類され、高解像度処理を必要とする。
• 周波数成分の観点から、低周波数特徴が大多数のサンプルに対して十分であり、高周波数の詳細は特異なケースでのみ必要であることが裏付けられた。
• 実験的結果から、RANetはデータレベルの冗長性を効果的に活用できており、深さや幅に基づく自己適応手法に比べて、効率性と適応性の両面で優れていることが確認された。