[論文レビュー] STN-Homography: estimate homography parameters directly

Qiang Zhou, Xin Li|arXiv (Cornell University)|Jun 6, 2019

Advanced Image and Video Retrieval Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、空間変換ネットワーク（STN）を用いて、4点パrameterizationを回避するための、新しいCNNベースの方法であるSTN-Homographyを提案する。座標正規化を活用することで要素の分散を低減し、MSCOCO上で2.14ピクセルの平均コーナー誤差を達成するSOTAの精度を実現。GPU上での1推論あたり4.87msで処理可能である。

ABSTRACT

In this paper, we introduce the STN-Homography model to directly estimate the homography matrix between image pair. Different most CNN-based homography estimation methods which use an alternative 4-point homography parameterization, we use prove that, after coordinate normalization, the variance of elements of coordinate normalized $3 imes3$ homography matrix is very small and suitable to be regressed well with CNN. Based on proposed STN-Homography, we use a hierarchical architecture which stacks several STN-Homography models and successively reduce the estimation error. Effectiveness of the proposed method is shown through experiments on MSCOCO dataset, in which it significantly outperforms the state-of-the-art. The average processing time of our hierarchical STN-Homography with 1 stage is only 4.87 ms on the GPU, and the processing time for hierarchical STN-Homography with 3 stages is 17.85 ms. The code will soon be open sourced.

研究の動機と目的

• 回転、平行移動、スケーリング、ねじれ成分の大きさにばらつきがあるため、勾配の不均衡を引き起こす、CNNベースのホモグラフィ推定における4点パrameterizationの限界を解消すること。
• 座標正規化されたホモグラフィ行列が要素の大きさに低分散を示すことを示し、CNNによる直接回帰に適していることを示すこと。
• 段階的かつ逐次的なSTN-Homographyアーキテクチャを設計し、ホモグラフィ予測を段階的に改善することで精度を向上させること。
• 中間段階の真値ホモグラフィを必要とせず、エンドツーエンドの学習を可能にすることで、モデルのロバストネスと一般化性能を向上させること。
• MSCOCOデータセット上で既存手法を上回る性能を発揮するとともに、低遅延推論を維持すること。

提案手法

• ホモグラフィ行列 $H_{ba}$ を $\overline{H}_{ba} = M H_{ba} M^{-1}$ として正規化するため、変換行列 $M = \begin{bmatrix}\frac{2}{W}&0&-1\\ 0&\frac{2}{H}&-1\\ 0&0&1\end{bmatrix}$ を用いてピクセル座標を正規化し、要素の分散を低減する。
• 空間変換ネットワーク（STN）を用いて、画像ペアから正規化されたホモグラフィ行列 $\overline{H}_{ba}$ を直接予測し、4点パrameterizationを回避する。
• 各段階で予測されたホモグラフィを用いて入力を変形する、複数のSTN-Homographyモジュールをスタックする階層型STN-Homographyモデルを設計する。
• 元の画像ペアを入力とし、各段階で直前の段階の変形出力を用いることで、エンドツーエンドの学習が可能な逐次的STN-Homographyモデルを導入する。
• 複数段階の粗さを段階的に改善するため、合成ホモグラフィ $\overline{H}_2 = \overline{H}_2' \overline{H}_1$ および $\overline{H}_3 = \overline{H}_3' \overline{H}_2$ を計算するための微分可能Tensorホモグラフィマージュレイヤーを実装する。
• 真値ホモグラフィが不足する状況でも利用可能な半教師あり学習を可能にするために、正規化されたホモグラフィ予測 $\overline{H}_{ba}$ におけるL2損失と、変形画像パッチにおけるL1フォトメトリック損失の組み合わせで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 座標正規化後にCNNが直接 $3\times3$ ホモグラフィ行列を回帰可能か？ 4点パrameterizationを上回る性能を達成できるか？
• RQ2 正規化されたホモグラフィ行列の要素に低分散が見られることが、より効果的な学習と向上した回帰精度を可能にするか？
• RQ3 階層的または逐次的なSTN-Homographyアーキテクチャが段階的に推定誤差を低減し、既存のCNNベースのホモグラフィ推定手法を上回る性能を発揮できるか？
• RQ4 ホモグラフィ予測におけるL2損失とフォトメトリック損失におけるL1損失を組み合わせることで、モデルのロバストネスと一般化性能がどの程度向上するか？
• RQ5 逐次的STN-Homographyモデルは、中間段階の真値ホモグラフィを必要とせず、エンドツーエンドで学習可能か？

主な発見

• 提案されたSTN-Homographyモデルは、2段階の逐次モデルを用いてMSCOCOデータセットで平均コーナー誤差2.14ピクセルを達成し、2段階の階層モデル（2.6ピクセル）を上回る性能を発揮した。
• 単一段階のSTN-Homographyモデルの平均推論時間はGPU上でわずか4.87msであり、3段階の階層バージョンでも17.85msで実行可能で、高い効率性を示した。
• 学習段階において、正規化されたホモグラフィ予測 $\overline{H}_{ba}$ におけるL2損失が、L1フォトメトリック損失よりも性能向上により重要な役割を果たした。
• 逐次的STN-Homographyモデルにより、中間段階の真値ホモグラフィを必要とせずエンドツーエンドの学習が可能となり、学習の柔軟性が向上した。
• 真値ホモグラフィが存在しないサンプルに対しても、フォトメトリック一貫性のみを活用することで、半教師あり学習が可能となった。
• 本手法は、MSCOCOベンチマークにおいて、既存の最先端手法を大きく上回り、ホモグラフィ推定精度の新たなSOTAを確立した。