[論文レビュー] Warped Convolutions: Efficient Invariance to Spatial Transformations

João F. Henriques, Andrea Vedaldi|arXiv (Cornell University)|Sep 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 23

ひとこと要約

この論文では、入力画像に学習された空間歪みを適用した後、標準的な畳み込みを実行することにより、回転、スケーリング、3Dポーズなどの連続的2パラメータ空間変換に対して正確な等長性を達成する、歪み付き畳み込み（warped convolutions）という手法を提案する。このアプローチは、標準的な畳み込みと同等の計算効率を維持しながら、ポーズ推定タスクにおいて強力な性能を発揮し、Google EarthおよびAFLWデータセットの両方で最先端の結果を達成した。

ABSTRACT

Convolutional Neural Networks (CNNs) are extremely efficient, since they exploit the inherent translation-invariance of natural images. However, translation is just one of a myriad of useful spatial transformations. Can the same efficiency be attained when considering other spatial invariances? Such generalized convolutions have been considered in the past, but at a high computational cost. We present a construction that is simple and exact, yet has the same computational complexity that standard convolutions enjoy. It consists of a constant image warp followed by a simple convolution, which are standard blocks in deep learning toolboxes. With a carefully crafted warp, the resulting architecture can be made equivariant to a wide range of two-parameter spatial transformations. We show encouraging results in realistic scenarios, including the estimation of vehicle poses in the Google Earth dataset (rotation and scale), and face poses in Annotated Facial Landmarks in the Wild (3D rotations under perspective).

研究の動機と目的

• 標準的なCNNの効率性と並進性を、並進を超える広範な連続的空間変換へ一般化する手法の開発。
• 繰り返しの歪み処理や離散的フィルターベースを必要とする従来の一般化畳み込み手法の高い計算コストを克服すること。
• 1回の固定された画像歪みとその後の標準畳み込みを用いて、回転、スケーリング、3Dポーズなどの変換に対して正確な等長性を実現すること。
• 空間変換器や双線形サンプリングなどの既存のディープラーニングコンponentsを用いて、このアプローチを効率的に実装できることを示すこと。
• 車両ポーズ推定や3D顔アラインメントを含む、複雑な変換を含む実世界データセットにおいて、この手法の妥当性を検証すること。

提案手法

• 標準的な畳み込みの前に、学習された固定空間歪みを入力画像に適用し、標準畳み込みが望ましい変換に対して等長的になるように入力を変換する。
• 歪みは双線形補間によって実装され、ディープラーニングツールキットの標準的な操作であるため、最適化された畳み込みカーネル（例：Winograd、FFT）と互換性を持つ。
• 空間変換は、透視投影下での3D球面的回転の幾何モデルから導出され、画像座標を頭部モデル上の球面座標にマッピングする。
• 変換はヨー角とピッチ角によってパラメータ化され、連続的回転における正確な等長性を保証するように解析的に歪み関数が導出される。
• ネットワークはエンドツーエンドで学習され、歪みパラメータ（焦点距離、距離、回転）は学習可能または数値的に最適化される。
• アーキテクチャは、顔を中央に寄せるための前処理として空間変換器ネットワーク（STN）を用い、その後に4層の畳み込み層とマックスプーリングを含む標準CNNを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準畳み込みと同等の計算効率を維持しながら、回転やスケーリングなどの連続的2パラメータ空間変換に対して正確な等長性を達成できるか？
• RQ2 固定で学習可能な空間歪みを用いて、3Dヘッドポーズのような複雑な変換に対して標準畳み込みを等長的演算子に変換できるか？
• RQ3 このアプローチは、非等長モデルやSTNのような既存のアーキテクチャを上回る性能を、連続的変換を含むポーズ推定タスクで示せるか？
• RQ4 標準的なディープラーニングコンponentsと最適化された畳み込みルーチンを用いて、この手法を効率的に実装できるか？
• RQ5 幾何的モデリング（例：透視投影下の球面投影）は、3Dポーズ推定の精度にどのような影響を与えるか？

主な発見

• Warped CNNはAFLWデータセットでヨー誤差7.07°、ピッチ誤差5.28°を達成し、CNN+FCベースライン（12.56°および6.59°）およびSTNベースライン（13.65°および7.22°）を顕著に上回った。
• Google Earthデータセットでは、車両ポーズ推定において最先端の性能を達成し、回転やスケーリングに対して頑健であることが示された。
• 提案手法は、標準畳み込みと同等の計算複雑度を維持しており、Winograd や FFT などの最適化された GPU カーネルの効果的な利用が可能である。
• 性能向上の主な要因は、3D回転に対する正確な等長性に起因し、STN や全結合層の使用によるものではない。
• 従来のアプローチが回転やスケーリングの離散化に依存するのに対し、本手法は連続的変換を適切に処理できる。
• 透視投影下の球面投影の幾何モデルは、正確な3Dポーズ推定に不可欠であり、導出された歪み関数により正確な等長性が保証された。