[論文レビュー] Variational Saccading: Efficient Inference for Large Resolution Images

Jason Ramapuram, Maurits Diephuis+3 more|arXiv (Cornell University)|Dec 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 4

ひとこと要約

この論文では、変分下界を用いて分類尤度を最大化することで、プロキシ分布からのキーレイアウト（サッケイド）を学習し、超高解像度画像における効率的な推論を実現するVariational Saccadingを提案する。実際のDSLRおよびStarCraft IIデータセットにおいて、フル画像のResNetモデルと同等の精度を達成しながら、推論速度を約10倍に高速化し、メモリ使用量を削減している。また、組み込みの局所化機能を備えている。

ABSTRACT

Image classification with deep neural networks is typically restricted to images of small dimensionality such as 224 x 244 in Resnet models [24]. This limitation excludes the 4000 x 3000 dimensional images that are taken by modern smartphone cameras and smart devices. In this work, we aim to mitigate the prohibitive inferential and memory costs of operating in such large dimensional spaces. To sample from the high-resolution original input distribution, we propose using a smaller proxy distribution to learn the co-ordinates that correspond to regions of interest in the high-dimensional space. We introduce a new principled variational lower bound that captures the relationship of the proxy distribution's posterior and the original image's co-ordinate space in a way that maximizes the conditional classification likelihood. We empirically demonstrate on one synthetic benchmark and one real world large resolution DSLR camera image dataset that our method produces comparable results with ~10x faster inference and lower memory consumption than a model that utilizes the entire original input distribution. Finally, we experiment with a more complex setting using mini-maps from Starcraft II [56] to infer the number of characters in a complex 3d-rendered scene. Even in such complicated scenes our model provides strong localization: a feature missing from traditional classification models.

研究の動機と目的

• 標準的なディープラーニングモデルでは、超高解像度画像（例：4000×3000）を分類する際に生じる計算コストとメモリコストが非常に高いため、これを解決すること。
• 人間のサッケイド的視線移動を模倣する確率的サンプリングポリシーを学習することで、効率的な推論を可能にすること。
• プロキシ分布の事後分布を元の画像の座標空間に一致させることで、分類尤度を向上させる原理的で整合性のある変分下界を開発すること。
• DSLR画像や複雑な3Dレンダリングゲームシーンを含む、実世界の高解像度データセットにおいて、本手法の有効性を実証すること。
• 標準的な分類モデルとは異なり、推論プロセスの副産物として関連画像領域の内在的局所化を提供すること。

提案手法

• プロキシ分布（例：ダウンサンプルド画像またはミニマップ）を用いて、画像座標上の事後分布を学習し、フル解像度画像からのサンプリング位置を制御する。
• プロキシ事後分布を元の画像の座標空間に一致させることで、条件付き分類尤度を最大化するための新規な変分下界を導出する。
• 学習された事後分布に基づいて、ターゲットの高解像度クロップをフル解像度画像からサンプリングする確率的サッケイド（スティンギング）を実行し、フル画像処理を回避する。
• プロキシ分布は空間的位置の推論にのみ使用され、実際の分類は元の画像から抽出されたフル解像度パッチで実施される。
• 確率的サッケイド選択プロセスをバックプロパゲーション可能にする微分可能サンプリング機構を用いて、エンドツーエンドで訓練する。
• StarCraft IIのような複雑なシーンでは、訓練データにおけるクラスの不均衡を軽減するため、リプレースありの重み付きランダムサンプラーを用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、超高解像度画像（例：4000×3000）に対して、顕著に低いメモリ使用量と推論コストで高い分類精度を達成できるか？
• RQ2 プロキシ分布に基づく学習された確率的サンプリングポリシー（サッケイド）は、フル画像処理を上回る速度とメモリ効率を維持しながら、精度を保てるか？
• RQ3 本手法は関連画像領域の内在的局所化を提供するのか？ また、その局所化は複雑なシーン理解に活用可能か？
• RQ4 プロキシ分布が異なるモodal（例：3Dゲームシーンのミニマップ）である場合、本手法は一般化性能を示せるか？
• RQ5 プロキシ画像と元の画像が異なるモダリティにあり、相関が限定的であっても、モデルの性能を維持できるか？

主な発見

• 実際のDSLR画像データセットにおいて、本モデルはフル画像ResNetモデルと同等の分類精度を達成しながら、推論時間を約10倍短縮し、GPUメモリ使用量も低減した。
• 本モデルは強力な局所化能力を示し、複雑なシーンにおいても人間の顔、動物の毛皮の模様、イヌの鼻の部分といった関連特徴を一貫してターゲットにしたサッケイドを実行した。
• StarCraft IIの実験では、ミニマップ（異なるモダリティのプロキシ）を用いても、ターラン・マリーンの数を数えるタスクで50%の分類精度を達成したのに対し、フル画像ResNetベースラインは65%であった。
• 本モデルのサッケイドは局所化されており意味のあるものであり、StarCraft II実験の90%のテストサッケイドがマリーンを含む領域を正しくターゲットとしており、効果的な空間的推論が行われていることが示された。
• 本手法は、推論プロセスの副産物として局所化を提供するが、これは標準的な分類モデルには存在しない。
• リプレースありの重み付きランダムサンプラーの使用により、特にStarCraft IIの設定において、不均衡データセットでのモデルの一般化性能が向上した。