[論文レビュー] Learning to Zoom: a Saliency-Based Sampling Layer for Neural Networks

Adrià Recasens, Petr Kellnhofer+3 more|arXiv (Cornell University)|Sep 10, 2018

Visual Attention and Saliency Detection参考文献 26被引用数 7

ひとこと要約

本稿では、畳み込みニューラルネットワークにおける空間特徴抽出を、タスク関連の画像領域に焦点を当てて学習する、微分可能でサリエンシーに基づくサンプリング層を提案する。エンドツーエンドで訓練される本手法は、入力画像を歪ませることで、目や系統特異的特徴といったサリエンシーな特徴を強調する非一様なダウンサンプリングを実現し、計算効率を維持しながら不確実性下でも滑らかに劣化する。

ABSTRACT

We introduce a saliency-based distortion layer for convolutional neural networks that helps to improve the spatial sampling of input data for a given task. Our differentiable layer can be added as a preprocessing block to existing task networks and trained altogether in an end-to-end fashion. The effect of the layer is to efficiently estimate how to sample from the original data in order to boost task performance. For example, for an image classification task in which the original data might range in size up to several megapixels, but where the desired input images to the task network are much smaller, our layer learns how best to sample from the underlying high resolution data in a manner which preserves task-relevant information better than uniform downsampling. This has the effect of creating distorted, caricature-like intermediate images, in which idiosyncratic elements of the image that improve task performance are zoomed and exaggerated. Unlike alternative approaches such as spatial transformer networks, our proposed layer is inspired by image saliency, computed efficiently from uniformly downsampled data, and degrades gracefully to a uniform sampling strategy under uncertainty. We apply our layer to improve existing networks for the tasks of human gaze estimation and fine-grained object classification. Code for our method is available in: http://github.com/recasens/Saliency-Sampler

研究の動機と目的

• 固定解像度制約により、タスクに不可欠な小さな特徴や疎な特徴が無視されてしまう、CNNにおける均一なダウンサンプリングの限界を是正すること。
• 視覚タスクにおいて細分化された特徴や局所的特徴を必要とする、たとえば視線推定や系統分類の性能を、モデルの複雑さを増さずに向上させること。
• 標準的な均一なダウンサンプリングに代わる、プラグイン可能でエンドツーエンドで訓練可能なモジュールを構築し、計算効率を維持すること。
• ネットワークが、サリエンシーな画像領域に対して「ズーム」する場所と方法を学習できるようにし、微分可能で一回のパスで人間の視覚的注意を模倣すること。
• 反復処理を避けてトレーニングの不安定性を低減する点で、空間変形ネットワークや逐次的アテンション機構の強力な代替手段を提供すること。

提案手法

• 高解像度の入力画像を受け取り、サリエンシーな領域を強調する変形されたダウンサンプリング版を出力する微分可能なサンプリング層を導入する。
• 軽量なネットワーク（例：ResNet-18ブロック）を用いて、入力画像の均一にダウンサンプリングされたバージョンからサリエンシー地図を推定し、タスク関連の領域を特定する。
• サリエンシー地図を用いてサンプリング密度を調整する：サリエンシー値が高い領域ではサンプリング頻度が高くなり（実質的なズーム効果）、それらの領域に注目する。
• ターゲット解像度の座標からソース画像の座標への変形グリッドを構築し、サリエンシー地図によって密度を制御することで、非均一なサンプリングを可能にする。
• バックプロパゲーションを用いて、サリエンシーネットワークとタスクネットワークが共同で最適化されるエンドツーエンドの訓練により、性能を向上させる。
• サリエンシーが不確実な場合に均一なサンプリングに滑らかに劣化するように設計し、特異点や折りたたみを回避することで、耐障害性を確保する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドで訓練可能なサンプリング層は、均一なダウンサンプリングと比較して、小さな特徴や疎な特徴に注目する必要がある視覚タスクの性能を向上させることができるか？
• RQ2 空間変形ネットワークや領域提案ネットワークといった既存手法と比較して、提案されたサリエンシーに基づくサンプリング層は、精度とトレーニング安定性の面でどのように差をつけるか？
• RQ3 このサリエンシー・サンプラーは、視線推定や細分化分類といった異なるデータセットやタスクに、どの程度一般化可能か？
• RQ4 計算効率を維持しながら、画像領域全体にわたる適応的で非均一なサンプリングを実現できるか？
• RQ5 サリエンシー・ネットワークの複雑さは性能にどの程度影響を及ぼし、その深さを増すことで得られる利得の逓減はどこまで現れるか？

主な発見

• 細分化分類データセットiNaturalistにおいて、サリエンシー・サンプラーはResNet-101の精度を均一なダウンサンプリングと比較して2.9%向上させたが、より深いサリエンシー・ネットワークでは利得の逓減が見られた。
• CUB-200データセットでは、ベースラインのResNet-50と比較して2.9%の精度向上を達成し、同サイズのDT-RAM（224×224）と比較して1.7%高い精度を記録しながら、計算コストも低く抑えられた。
• CUB-200で227×227の入力を使用した場合、2.9%の精度向上を達成し、画像品質やクローニングのばらつきがあるデータセット間でも一貫した改善を示した。
• 均一なダウンサンプリングを使用するベースラインモデルを上回り、1回の順方向パスで実行可能な単一のフォワードパスを用いることにより、より複雑なモデル（例：DT-RAM 448×448）と同等またはそれ以上の精度を達成した。
• サリエンシー・ネットワークの深さは性能に顕著な影響を与えるが、その効果は逓減する：CUB-200では6層で81.6%、14層で84.5%の精度に上昇し、より高い複雑さで飽和していることが示された。
• 本手法は、空間変形ネットワークや可変畳み込みのトレーニングでよく見られる不安定性を回避し、幾何的関係（例：視線推定における両目の関係）を効果的に保持する、頑健なトレーニング挙動を示した。