[論文レビュー] Hierarchical Spatial Transformer Network

Chang Shu, Xi Chen+2 more|arXiv (Cornell University)|Jan 29, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、二本の畳み込みニューラルネットワーク（CNN）を用いて線形変換と光流速度推定を統合することで、グローバルおよびローカルな画像変形をモデル化する階層的空間変換ネットワーク（HSTN）を提案する。事前学習済みSTN重みで線形変換を初期化し、光流速度ベースのモジュールと共同で学習させることで、画像アライメントおよびごみだらけのMNIST分類において、最先端の手法を大きく上回る精度と高速性を達成する。

ABSTRACT

Computer vision researchers have been expecting that neural networks have spatial transformation ability to eliminate the interference caused by geometric distortion for a long time. Emergence of spatial transformer network makes dream come true. Spatial transformer network and its variants can handle global displacement well, but lack the ability to deal with local spatial variance. Hence how to achieve a better manner of deformation in the neural network has become a pressing matter of the moment. To address this issue, we analyze the advantages and disadvantages of approximation theory and optical flow theory, then we combine them to propose a novel way to achieve image deformation and implement it with a hierarchical convolutional neural network. This new approach solves for a linear deformation along with an optical flow field to model image deformation. In the experiments of cluttered MNIST handwritten digits classification and image plane alignment, our method outperforms baseline methods by a large margin.

研究の動機と目的

• 空間変換ネットワーク（STN）が強力なグローバル変形能力を有するが、ローカルな空間ばらつきに対処できないという限界を解決すること。
• 大規模な変位では失敗する光流速度の制約を、初期の線形変換と階層的構造を統合することで克服すること。
• 近似理論と光流速度理論を深層学習フレームワークに統合し、画像変形モデリングの向上を図ること。
• 教師なしの環境下でエンドツーエンドの、エンドツーエンドの訓練を可能にし、画像アライメントに適用できること。
• 標準のニューラルネットワークに統合可能な、高精度でリアルタイムの画像変形を実現すること。

提案手法

• HSTNは二本の階層的CNNを用いる：一方のブランチは線形変換を推定（事前学習済みSTN重みで初期化）、もう一方は残差的なローカル変形のための光流速度を推定する。
• 入力画像はまず線形変換され、大規模な変位が軽減されるため、光流速度推定が明度一定性制約を満たすようになる。
• 近似理論からの曲げエネルギーペナルティと、光流速度理論からの滑らかさペナルティが、光流速度場の正則化に用いられる。
• エンドツーエンドの訓練は、教師なしの環境下で、変形されたソース画像とターゲット画像の間のℓ₂損失を用いて実施される。
• 階層的設計により、線形モジュールが粗いアライメントを処理し、流れモジュールが微細な歪みを精緻化する。
• アフィン変換、射影変換、およびスプライス（thin-plate spline）変換をサポートしており、柔軟な空間変換が可能である。

実験結果

リサーチクエスチョン

• RQ1 階層的ディープラーニングアーキテクチャは、同時にグローバルおよびローカルな画像変形を効果的にモデル化できるか？
• RQ2 事前学習済みSTN重みで線形変換モジュールを初期化することで、画像アライメントタスクにおける収束性と性能が向上するか？
• RQ3 近似理論と光流速度理論を統合することで、大規模な変位下でもより良い一般化性と耐性が得られるか？
• RQ4 提案手法は、教師なし画像アライメントにおいて、STNベースおよび光流速度ベースのベースラインと比較して、優れた精度と速度を達成できるか？
• RQ5 標準の光流速度が失敗する大規模な変位領域において、階層的設計が高い性能を維持する効果的か？

主な発見

• HSTNは画像平面アライメントで1.8088のエンドポイント誤差（EPE）を達成し、次に優れた手法（LDOF：5.9467）を著しく上回った。
• HSTNは0.0034秒という高速な推論時間を維持しており、他のSTNベース手法と同等の速度である一方、最も速いベースライン（Affine-STN）と比較して3倍以上の高い精度を達成した。
• HSTNは、すべてのSTNバリアントおよび光流速度ベースラインを上回り、幾何的歪み下でも強い一般化性能を示した、ごみだらけのMNIST手書き数字分類で優れた性能を発揮した。
• 線形変換の初期化に事前学習済みSTN重みを用いることで、収束が早まり、より良いアライメント性能が得られた。
• 初期の線形ワープによって大規模な変位を軽減することで、HSTNは光流速度制約を効果的に満たし、大規模変位領域での失敗を回避した。
• 曲げエネルギーと滑らかさペナルティの統合により、より安定的で現実的な変形場が得られ、視覚的品質とアライメント精度が向上した。