[論文レビュー] Hard-Attention for Scalable Image Classification

Athanasios N. Papadopoulos, Paweł Korus+1 more|arXiv (Cornell University)|Feb 20, 2021

Advanced Neural Network Applications参考文献 76被引用数 10

ひとこと要約

本論文では、スケール空間全体で最も情報量の多い領域を再帰的に注目することで、高解像度画像を処理するマルチスケールのハードアテンションアーキテクチャ、TNetを提案する。TNetは、FLOPs、メモリ、推論時間の低減を実現しつつ、高い精度を達成する。注目する位置の数を変更することで、精度と複雑さの間で調整可能なトレードオフを実現し、アテンションマップにより内在的な解釈可能性を提供する。ImageNetおよびfMoWにおいて、ハードアテンションベースラインを上回り、最高で2.5倍速い処理速度を達成する。

ABSTRACT

Can we leverage high-resolution information without the unsustainable quadratic complexity to input scale? We propose Traversal Network (TNet), a novel multi-scale hard-attention architecture, which traverses image scale-space in a top-down fashion, visiting only the most informative image regions along the way. TNet offers an adjustable trade-off between accuracy and complexity, by changing the number of attended image locations. We compare our model against hard-attention baselines on ImageNet, achieving higher accuracy with less resources (FLOPs, processing time and memory). We further test our model on fMoW dataset, where we process satellite images of size up to $896 imes 896$ px, getting up to $2.5$x faster processing compared to baselines operating on the same resolution, while achieving higher accuracy as well. TNet is modular, meaning that most classification models could be adopted as its backbone for feature extraction, making the reported performance gains orthogonal to benefits offered by existing optimized deep models. Finally, hard-attention guarantees a degree of interpretability to our model's predictions, without any extra cost beyond inference. Code is available at $\href{https://github.com/Tpap/TNet}{github.com/Tpap/TNet}$.

研究の動機と目的

• 深層学習における高解像度画像処理のための2次関数的計算コストとメモリコストを軽減すること。
• 高解像度入力において精度を損なわずに、効率的かつスケーラブルな画像分類を実現すること。
• 追加の推論コストなしに、ハードアテンション機構により内在的な解釈可能性を提供すること。
• 既存の深層学習バックボーンと互換性があるモジュール型で、エンドツーエンドで学習可能なアーキテクチャを提供すること。

提案手法

• TNetは、複数のスケールにわたり、トップダウンで再帰的に処理を行い、最も情報量の高い領域のみを訪問する。
• 各スケールで、修正されたREINFORCEルールに従って、画像内の位置を微分可能ポリシーネットワークで選択する。
• 各処理レベルで特徴抽出を並列に実行し、逐次的なRNNを回避することで、直接的な勾配伝播を可能にする。
• 異なる位置から得られた注目特徴を平均化し、グローバル表現に統合して分類に用いる。
• 独自の正則化手法により、個々の注目位置に基づいた分類を促進し、一般化性能を向上させる。
• ソフトアテンションや追加の逆伝播を用いずにハードアテンションを適用することで、追加コストなしに解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 2次関数的計算複雑性を伴わず、高解像度画像で高い精度を達成できるか？
• RQ2 従来のハードアテンションベースラインと比較して、マルチスケールハードアテンション機構は効率性と精度を向上させるか？
• RQ3 追加の推論またはトレーニングオーバーヘッドなしに、ハードアテンションが内在的な解釈可能性を提供できるか？
• RQ4 より少ないがより情報量の高い領域に注目することで、特にコントラストが低く、ごみだらけの画像（例：衛星画像）において一般化性能にどのような影響を与えるか？
• RQ5 モデルの性能をバックボーンアーキテクチャから分離でき、最適化されたモデルと即座に統合可能か？

主な発見

• ImageNetでは、TNetは強力なハードアテンションベースラインを上回るトップ-1精度を達成しながら、FLOPsを減らし、メモリ使用量を抑え、推論速度も向上させる。
• fMoWでは、TNetは896×896の衛星画像を、ベースラインと比較して最高で2.5倍速く処理し、より高い精度を達成する。
• ImageNetでは、精度が高く（背景への注目が最小限）、再現率は低いことから、物体のバウンディングボックス内に集中した注目が行われていることが示唆される。
• fMoWでは、精度は低く、再現率は高いことから、モデルが大規模な画像内で小さな、散らかったオブジェクトを効果的に注目できていることがわかる。
• 注目する位置の数が増えるに従い、カバレッジは非線形的に増加するが、重複する注目領域が存在することが示唆される。
• アブレーションスタディにより、提案された正則化手法が、情報量の高い個々の位置に注目する能力を促進することで、性能を顕著に向上させていることが確認された。