[論文レビュー] On Learning Where To Look

Marc’Aurelio Ranzato|arXiv (Cornell University)|Apr 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 37

ひとこと要約

この論文では、計算コストを削減するために関連する画像領域にのみ注目する、注視点的でグレップスベースの深層学習モデルを提案している。このモデルは順次的で注意駆動のグレップスによって画像を分類し、MNISTでは畳み込みニューラルネットワークと同等の0.8%の誤差を達成している一方で、全画像処理と比較して推論時間を最大20倍短縮しており、スケーラビリティと外見の変動に対するロバスト性を示している。

ABSTRACT

Current automatic vision systems face two major challenges: scalability and extreme variability of appearance. First, the computational time required to process an image typically scales linearly with the number of pixels in the image, therefore limiting the resolution of input images to thumbnail size. Second, variability in appearance and pose of the objects constitute a major hurdle for robust recognition and detection. In this work, we propose a model that makes baby steps towards addressing these challenges. We describe a learning based method that recognizes objects through a series of glimpses. This system performs an amount of computation that scales with the complexity of the input rather than its number of pixels. Moreover, the proposed method is potentially more robust to changes in appearance since its parameters are learned in a data driven manner. Preliminary experiments on a handwritten dataset of digits demonstrate the computational advantages of this approach.

研究の動機と目的

• 画像解像度に比例して計算量が増加するビジョンシステムのスケーラビリティを改善すること。
• データ駆動の注視に基づく処理により、物体認識における外見や姿勢の変動に対するロバスト性を向上させること。
• 分類のために高解像度領域を動的に選択するトレーニング可能な順次的グレップス機構を開発すること。
• 標準の深層ネットワークと比較して著しく低い計算コストで最先端の精度を達成すること。

提案手法

• モデルは、グローバルな画像特徴量と分類確率に基づいて次のグレップスの位置を予測する低解像度ネットワーク（N0）を使用している。
• 予測された位置に高解像度のパッチを切り取り、2番目のネットワーク（N1）で分類し、その後のグレップスで予測を精緻化する。
• グレップスの位置最適化（3×3グリッド上の局所探索により）と、確率的勾配降下法によるモデルパラメータの更新を交互に実行する。
• 複数のグレップスからの分類予測を幾何平均によって統合し、複数の視点からの証拠を統合する。
• 学習中、グレップスの位置は潜在変数とみなされ、エンド・ツー・エンドの誤差逆伝播により情報量の多い領域を選択するようモデルが学習する。
• 2段階の推論を採用：最初に候補領域を特定する粗いパスを実行し、その後に集中的な高解像度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、計算コストを削減するために、画像の最も情報量の多い領域を順次的に注視する能力を学習できるか？
• RQ2 グレップスベースで注視点的なアプローチは、標準のCNNと同等の精度を達成しながら、はるかに効率的か？
• RQ3 計算を関連する画像領域に限定することで、小さなデータセットで学習した場合でもモデルは十分に一般化できるか？
• RQ4 複数のグレップスの統合は、分類の信頼性を向上させ、外見の変動に対するロバスト性を高めるか？

主な発見

• モデルはMNISTの全データセットで0.8%のテスト誤差率を達成し、標準の畳み込みネットワークと同等の性能を示した。
• 1つのグレップスでのみ処理した場合、テスト誤差率は1.2%であり、全画像の全結合ネットワークと比較して3.6倍の高速化が達成された。
• 全解像度画像を処理する場合と比較して、計算コストを最大20倍まで削減しながらも高い精度を維持した。
• 小さな学習データセットでも良好な一般化性能を示し、10,000件のサンプルでの学習で先行研究[11]と同等の精度を達成した。
• 2番目のグレップスを追加しても誤差率が0.1%しか低下しなかったため、収益逓減の兆候と過学習の可能性が示された。
• グレップスの位置が画像内での数字の位置を追跡しており、効果的な空間的注視と動的再焦点化が実現されていることが確認された。