[論文レビュー] Spatial Transformer Networks

Max Jaderberg, Karen Simonyan+2 more|arXiv (Cornell University)|Jun 5, 2015

Multimodal Machine Learning Applications参考文献 38被引用数 63

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）が入力データに応じて空間変換（例：スケーリング、回転、クロッピング）を予測することで、アーティファクトの変形やポーズの変化に対して不変性を向上させ、教師なしでエンドツーエンドに学習可能な微分可能モジュール「空間変換ネットワーク（STN）」を導入している。STNにより、画像分類および細分化認識ベンチマークで最先端の性能を達成している。

ABSTRACT

Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.

研究の動機と目的

• 回転、スケーリング、平行移動などの大きな入力変換に対して空間的不変性を達成できないCNNの限界を解決すること。
• ニューラルネットワーク内での特徴マップの動的空間的操作を可能にする、微分可能でエンドツーエンドで学習可能なモジュールを構築すること。
• 強化学習や変換パラメータに関する教師信号なしに、ネットワークが注意メカニズムや空間正規化を暗黙的に学習できるようにすること。
• 歪みのあるデジット認識や細分化された鳥分類など、ポーズ不変性が求められるタスクでの性能向上を図ること。
• 既存のCNNアーキテクチャに空間変換モジュールを効率的に統合でき、計算コストの増加が最小限に抑えられることを示すこと。

提案手法

• 局所化ネットワークが特徴マップからアフィン変換パラメータを予測する空間変換モジュールを構成する。
• 予測されたパラメータを用いて、入力特徴マップからどの位置からサンプリングするかを定義するサンプリンググリッドを生成する。
• バナディング補間を用いた微分可能なサンプリングにより、変換の勾配が流れ込むように保証する。
• 標準的なバックプロパゲーションを用いて、CNNに学習可能なレイヤーとして統合し、エンドツーエンドで訓練する。
• 複数の空間変換モジュールを並列に使用することで、特徴マップの異なる部分に注目でき、マルチパーツ特徴抽出が可能になる。
• 空間変換モジュールはネットワークの任意の段階で特徴マップに対して作用可能であり、最終分類の前にポーズ正規化を実現できる。

実験結果

リサーチクエスチョン

• RQ1 学習可能で微分可能なモジュールは、追加の教師信号なしにCNNの空間的不変性を向上させることができるか？
• RQ2 空間変換モジュールは、完全に微分可能な方法で注意メカニズムや空間正規化を暗黙的に学習できるか？
• RQ3 CNNに空間変換モジュールを統合することで、大きなポーズ変化が生じるタスクでの性能向上が達成できるか？
• RQ4 複数の空間変換モジュールを並列に使用することで、データ駆動的に異なるオブジェクトパーツを発見・注目できるか？
• RQ5 標準的なCNN推論と比較して、空間変換モジュールの計算コストは無視できるほど小さいか？

主な発見

• ST-CNNモデルは、CUB-200-2011の細分化鳥分類データセットで84.1%の精度を達成し、ベースラインCNNより1.8%高い性能を示した。
• 448pxの入力解像度でさえも84.1%の精度を達成しており、変換後にダウンサンプリングを行っても性能が低下しないことを示した。
• 空間変換モジュールは特定の鳥の部位を学習していた：赤は頭部に注目、緑は体に注目しており、データ駆動的なパーツ発見が確認された。
• ST-CNN Multiモデルは、標準CNNと比較して前方伝搬および逆伝搬でわずかに6%遅く、計算コストの増加は最小限であった。
• 歪んだMNISTベンチマークでは、空間変換ネットワークがエンドツーエンドでデジットの位置をクロップ・正規化する能力を学習し、最先端の性能を達成した。
• 空間変換モジュールは、変換パラメータに関する明示的な教師信号なしに、変換不変表現を学習できる。