[論文レビュー] Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet

Wieland Brendel, Matthias Bethge|arXiv (Cornell University)|Mar 20, 2019

Advanced Neural Network Applications被引用数 150

ひとこと要約

本論文は BagNets を導入する。局所特徴のバッグ（bag-of-local-features）CNN の線形バリアントで、非常に小さなパッチを用いて ImageNet の精度を高め、意思決定の解釈性を明確に提供する。

ABSTRACT

Deep Neural Networks (DNNs) excel on many complex perceptual tasks but it has proven notoriously difficult to understand how they reach their decisions. We here introduce a high-performance DNN architecture on ImageNet whose decisions are considerably easier to explain. Our model, a simple variant of the ResNet-50 architecture called BagNet, classifies an image based on the occurrences of small local image features without taking into account their spatial ordering. This strategy is closely related to the bag-of-feature (BoF) models popular before the onset of deep learning and reaches a surprisingly high accuracy on ImageNet (87.6% top-5 for 33 x 33 px features and Alexnet performance for 17 x 17 px features). The constraint on local features makes it straight-forward to analyse how exactly each part of the image influences the classification. Furthermore, the BagNets behave similar to state-of-the art deep neural networks such as VGG-16, ResNet-152 or DenseNet-169 in terms of feature sensitivity, error distribution and interactions between image parts. This suggests that the improvements of DNNs over previous bag-of-feature classifiers in the last few years is mostly achieved by better fine-tuning rather than by qualitatively different decision strategies.

研究の動機と目的

• 解釈可能な CNN の必要性を喚起し、局所的な画像証拠から意思決定がどのように形成されるかを理解する。
• 小さなパッチと線形分類器を用いる Bag-of-Local-Features DNN バリアント（BagNet）を提案する。
• ImageNet で異なるパッチサイズの BagNets を評価し、解釈性と性能を標準的な CNN と比較する。
• BagNet の意思決定が高性能 DNN のものとどのように関連するかを分析し、DNN の意思決定戦略の理解への影響を議論する。

提案手法

• 積み重ねた ResNet ブロックを用いて、各 q×q の画像パッチから 2048 次元のパッチ表現を推定する。
• 各パッチに対してクラス証拠を推定する線形分類器を適用し、パッチ間で平均して画像レベルのロジットを得る。
• 受容野を q×q ピクセルに制限するため、多くの 3×3 畳み込みを 1×1 畳み込みに置換する。
• ImageNet で q ∈ {9,17,33} の BagNet-q バリアントを訓練し、top-5 精度と推論速度を比較する。
• 決定に寄与する局所特徴を明らかにするため、パッチレベルのヒートマップを可視化する。
• 特徴感度と相互作用パターンの点で BagNets を VGG-16、ResNet-50、ResNet-152、DenseNet-169 と比較する。

実験結果

リサーチクエスチョン

• RQ1 線形分類器を用いた局所特徴のバッグ方式で高い ImageNet 精度を達成できるか。
• RQ2 このような BagNets の意思決定はどれくらい解釈可能であり、予測を支える局所的な画像特徴は何か。
• RQ3 より深い CNN は類似の局所特徴に頼るのか、それともより広い空間的関係を符号化して性能を向上させるのか。
• RQ4 局所性制約は特徴の相互作用と空間的シャッフルに対する頑健性にどう影響するか。
• RQ5 寄与度推定法は、BagNet の説明と標準 DNN の説明との整合性について何を明らかにするか。

主な発見

• BagNets は 33×33 パッチで 87.6% の top-5 精度、17×17 パッチで 80.5% の top-5 精度を達成し、AlexNet に匹敵しつつ、いくつかのベースラインモデルよりはるかに高速である。
• BagNets は約 155 枚/秒、ResNet-50 は約 570 枚/秒で動作する。これはダウンサンプリングが少なく、受容野が小さいため。
• パッチレベルの証拠から計算されたヒートマップは、物体の形状や予測に寄与する特徴を局在させた高解像度の説明を提供する一方で、背景はほとんど無視される。
• BagNets は特徴感度と誤差分布の点で高性能 DNNs と強い類似性を示し、DNNs が全体的な特徴よりも多数の弱い局所統計に依存している可能性を示唆する。
• BagNets には画像部品間の弱い相互作用があり、より深い DNN はより強い非線形の相互作用を示す。深いネットはより大きな空間的関係を利用していることを示唆する。