[論文レビュー] Processing Megapixel Images with Deep Attention-Sampling Models

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|May 3, 2019

Medical Imaging Techniques and Applications被引用数 22

ひとこと要約

この論文は、低解像度の画像ビューから計算された注目分布からサンプリングすることで、メガピクセル画像の一部のみを処理するエンドツーエンド微分可能な注目サンプリングモデルを提案する。この手法により、10倍の計算量とメモリ使用量を削減しながら、フルアテンションモデルと同等の精度を達成でき、標準的なSGDによる学習と勾配推定の分散を最小限に抑えることが可能となる。

ABSTRACT

Existing deep architectures cannot operate on very large signals such as megapixel images due to computational and memory constraints. To tackle this limitation, we propose a fully differentiable end-to-end trainable model that samples and processes only a fraction of the full resolution input image. The locations to process are sampled from an attention distribution computed from a low resolution view of the input. We refer to our method as attention sampling and it can process images of several megapixels with a standard single GPU setup. We show that sampling from the attention distribution results in an unbiased estimator of the full model with minimal variance, and we derive an unbiased estimator of the gradient that we use to train our model end-to-end with a normal SGD procedure. This new method is evaluated on three classification tasks, where we show that it allows to reduce computation and memory footprint by an order of magnitude for the same accuracy as classical architectures. We also show the consistency of the sampling that indeed focuses on informative parts of the input images.

研究の動機と目的

• メガピクセル画像を処理する際の従来のCNNの計算およびメモリ制限を克服すること。
• パッチ単位のアノテーションを必要とせずに、高解像度画像上でエンドツーエンドの学習を可能にすること。
• 分類精度をフル画像処理と同等に保ちながら、計算コストとメモリ使用量を削減すること。
• 勾配のバックプロpagationがサンプリングプロセスを通過できる微分可能なサンプリング機構の開発

提案手法

• モデルは入力画像の低解像度版から注目分布を計算し、情報量の多い領域を特定する。
• この注目分布に基づいて、全画像から少数のパッチ（例：5パッチ）をサンプリングする。
• サンプリングされたパッチの特徴量は、注目重みを用いた重み付き平均により集約される。
• 標準的なSGDによるエンドツーエンド学習を可能にするために、バイアスのない勾配推定器が導出される。強化学習や変分推論を回避する。
• 注目ベースのサンプリングが、フルモデル出力の最小分散推定器であることが証明されている。
• 実装では、ResNetベースの特徴抽出器と、4層の畳み込みネットワークを用いた注目ヘッドが使用される。

実験結果

リサーチクエスチョン

• RQ1 パッチ単位のアノテーションが不要な状態で、メガピクセル画像を効率的に処理できる微分可能なサンプリング機構を設計できるか？
• RQ2 注目分布からのサンプリングが、一様またはヒューリスティックなサンプリングよりも低い分散推定器をもたらすか？
• RQ3 メモリと計算量を10倍削減しながら、フルアテンションモデルと同等の精度を達成できるか？
• RQ4 強化学習に依存せずに、サンプリングを伴う標準的なSGDによるエンドツーエンド学習が可能か？

主な発見

• 提案された注目サンプリングモデルは、192パッチをすべて処理するDeep MILと同等のテスト誤差を達成しながら、わずか5パッチのみを用いる。
• Deep MILと比較して、メモリ使用量を最大30倍、推論時間を最大25倍削減する。
• 注目分布からのサンプリングが、フルモデル出力の最小分散推定器をもたらすことが確認され、統計的に最適である。
• パッチ単位のラベルがなくても、注目分布は一貫して情報量の多い領域（例：交通標識）に集中する。
• ダウンサンプリングされた画像では重要な詳細（例：速度制限番号）を失うが、このモデルは標準的なCNNよりも一般化性能に優れる。
• この手法により、1枚のGPUを用いてメガピクセル画像のトレーニングと推論が可能となり、従来の高解像度処理の制限を克服する。