[論文レビュー] Recurrent Models of Visual Attention

Volodymyr Mnih, Nicolas Heess+2 more|arXiv (Cornell University)|Jun 24, 2014

Visual Attention and Saliency Detection参考文献 22被引用数 2,273

ひとこと要約

この論文では、画像や動画の高分解能領域に選択的に注目する再帰的ニューラルネットワークモデルを提案している。計算コストを削減するため、関連する領域のみを処理することで実現している。強化学習を用いて、タスク固有の注目ポリシーを学習させることで、ごみだらけの画像分類においてCNNを上回り、明示的な教師信号なしにオブジェクト追跡を学習している。

ABSTRACT

Applying convolutional neural networks to large images is computationally ex-pensive because the amount of computation scales linearly with the number of image pixels. We present a novel recurrent neural network model that is ca-pable of extracting information from an image or video by adaptively selecting a sequence of regions or locations and only processing the selected regions at high resolution. Like convolutional neural networks, the proposed model has a degree of translation invariance built-in, but the amount of computation it per-forms can be controlled independently of the input image size. While the model is non-differentiable, it can be trained using reinforcement learning methods to learn task-specific policies. We evaluate our model on several image classification tasks, where it significantly outperforms a convolutional neural network baseline on cluttered images, and on a dynamic visual control problem, where it learns to track a simple object without an explicit training signal for doing so. 1

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が大規模な画像を処理する際の高い計算コストに対処すること。
• 全画像サイズに比例するのではなく、関連する画像領域に比例した計算を行うモデルを開発すること。
• 再帰構造と局所的処理を通じて、並進不変な特徴学習を実現すること。
• タスク固有の注目ポリシーを学習するために強化学習を用いてモデルを訓練すること。

提案手法

• モデルは、隠れ状態と画像特徴に基づいて、注目すべき画像領域のシーケンスを再帰ネットワークで予測する。
• 高分解像で処理されるのは、選択された領域のみであり、残りの部分は無視されるため、計算負荷が低減される。
• 注目メカニズムは微分可能でないため、ポリシー勾配法を用いて強化学習でネットワークを訓練する。
• 再帰構造における共有重みと局所的処理により、モデルは並進不変性を維持する。
• タスクからの報酬信号がポリシー勾配法を介して注目ポリシーをガイドする。
• このアーキテクチャは、静的画像分類および動的視覚制御タスクの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再帰モデルは、性能を落とさずに計算量を削減するために、関連する画像領域に注目する能力を学習できるか？
• RQ2 全画像処理と比較して、選択的注目はごみだらけの画像における分類精度をどのように向上させるか？
• RQ3 明示的な教師信号や真値のトラッキング信号なしに、モデルは動くオブジェクトを追跡する能力を学習できるか？
• RQ4 標準のCNNと比較して、モデルの性能は入力画像サイズにどの程度依存するか？
• RQ5 非微分可能な注目メカニズムの視覚的タスクに対する訓練に、強化学習はどの程度効果的か？

主な発見

• モデルは、ごみだらけの画像分類タスクにおいて、CNNベースラインを顕著に上回っており、不要な干渉要因に対して高いロバスト性を示している。
• モデルは、画像ピクセルのわずか一部しか処理しないことから、顕著に低い計算量で高い性能を達成している。
• 動的視覚制御タスクにおいて、モデルは追跡用の明示的訓練信号なしに、動くオブジェクトを追跡する能力を学習している。
• 注目メカニズムは、オブジェクトの境界や重要な部分といった関連する特徴に注目するよう学習し、一般化性能を向上させている。
• CNNとは異なり、モデルの性能は入力サイズの変化に関係なく安定している。一方、CNNの計算量は画像サイズに線形に比例する。
• 強化学習は、非微分可能な注目ポリシーの訓練に効果的に機能し、タスク固有の適応を可能にしている。