[論文レビュー] Recurrent Spatial Transformer Networks

Søren Kaae Sønderby, Casper Kaae Sønderby+2 more|arXiv (Cornell University)|Sep 17, 2015

Image Enhancement Techniques参考文献 5被引用数 37

ひとこと要約

本論文では、再帰的ニューラルネットワークと空間変換ネットワークを組み合わせた再帰的空間変換ネットワーク（RNN-SPN）を提案する。このモデルは、ごちゃまぜのMNISTシーケンスにおいて、順次個々の数字に注目して分類する。各時刻でRNNが空間変換を予測することで、注目領域を適応的にダウンサンプリングし、困難なごちゃまぜMNISTデータセットで1.5%という最先端の1桁誤り率を達成した。これは、標準的な畳み込みネットワークやフォワードパスSPNモデルを上回る性能である。

ABSTRACT

We integrate the recently proposed spatial transformer network (SPN) [Jaderberg et. al 2015] into a recurrent neural network (RNN) to form an RNN-SPN model. We use the RNN-SPN to classify digits in cluttered MNIST sequences. The proposed model achieves a single digit error of 1.5% compared to 2.9% for a convolutional networks and 2.0% for convolutional networks with SPN layers. The SPN outputs a zoomed, rotated and skewed version of the input image. We investigate different down-sampling factors (ratio of pixel in input and output) for the SPN and show that the RNN-SPN model is able to down-sample the input images without deteriorating performance. The down-sampling in RNN-SPN can be thought of as adaptive down-sampling that minimizes the information loss in the regions of interest. We attribute the superior performance of the RNN-SPN to the fact that it can attend to a sequence of regions of interest.

研究の動機と目的

• フォワードパス空間変換ネットワーク（FFN-SPN）が、入力がごちゃまぜの状況下で性能が低下する原因となる、シーケンス全体のすべての数字を同時に注目しなければならないという制限を解消すること。
• 再帰的モデリングを用いて個々の要素を順次的・注目ベースで処理することで、視覚的に複雑なシーンにおけるシーケンス分類を改善すること。
• RNNフレームワーク内での空間変換による適応的ダウンサンプリングが、注目領域の重要な情報を保持すると同時に計算負荷を低減できるかどうかを調査すること。
• RNN-SPNが、困難なシーケンス分類ベンチマークにおいて、標準的な畳み込みネットワークやFFN-SPNモデルよりも優れた性能を発揮することを示すこと。

提案手法

• RNN-SPNモデルは、各時刻で隠れ状態と入力画像の畳み込み特徴マップに基づき、空間変換パラメータを生成するゲート付き再帰ユニット（GRU）を用いる。
• 各時刻において、空間変換ネットワークは、RNNが予測したパラメータを用いて入力画像にアフィン変換（ズーム、回転、ずれ）を適用し、微分可能サンプリングのための双線形補間を実行する。
• 解像度を低下させるダウンサンプリング係数dを採用し、hとwをH/dとW/dに設定することで、注目領域に解像度を維持する適応的ダウンサンプリングを実現する。
• 変換された画像クロップは、共有畳み込み分類ネットワークを通過し、各位置に対して別個のソフトマックス層を用いてシーケンス内の各数字を予測する。
• 全モデルはバックプロパゲーションを用いてエンドツーエンドで訓練され、微分可能な双線形補間および空間変換層を介して勾配が流れ込む。
• SPN内の局所化ネットワークは、最大プーリングを伴う3層の畳み込みネットワークとして実装され、RNNは256個のGRUユニットを用い、3時刻分の処理を実行する。

実験結果

リサーチクエスチョン

• RQ1 RNN-SPNモデルは、ごちゃまぜの状況下の数字シーケンス分類において、フォワードパスSPNを上回ることができるか？
• RQ2 SPN層による適応的ダウンサンプリングが、情報量の多い領域に注目することで性能を向上させるとともに、計算負荷を低減できるか？
• RQ3 RNNによる順次的注目が、グローバルな注目メカニズムとは異なり、シーケンス内の個々の数字に注目できるか？
• RQ4 ダウンサンプリング係数を変化させると、モデルの数字分類の高精度維持能力にどのような影響を与えるか？
• RQ5 RNN-SPNモデルは、困難なごちゃまぜMNISTシーケンスデータセットにおいて、標準的な畳み込みネットワークやFFN-SPNモデルよりも優れた効果を示すか？

主な発見

• RNN-SPNモデルは、ごちゃまぜMNISTシーケンスデータセットで1.5%の1桁誤り率を達成し、標準的な畳み込みネットワークの2.9%誤り率を著しく上回った。
• ダウンサンプリング係数d=2のRNN-SPNが最良の性能（1.5%誤り率）を示し、中程度のダウンサンプリングが関心領域への注目を強化しつつ情報損失を防ぐことを示した。
• d=4のモデルは誤り率が2.3%に低下し、解像度の損失による性能劣化が顕著に現れた。
• RNN-SPNは、d=1で2.0%誤り率、d=3で2.9%誤り率を記録したFFN-SPNモデルを上回り、順次的注目がグローバル注目よりも効果的であることを示した。
• RNN-SPNモデルは、空間変換クロップの可視化により、個々の数字に注目する能力を適切に学習していることが確認された。クロップは各数字に焦点を当てており、高い解像度を維持している。
• ノイズパッチや重なった数字が存在する状況下でも、モデルは数字を分離して正しく分類できることから、ごちゃまぜに対して頑健であることが示された。