[論文レビュー] HyNet: Local Descriptor with Hybrid Similarity Measure and Triplet Loss.

Yurun Tian, Axel Barroso-Laguna+3 more|arXiv (Cornell University)|Jun 17, 2020

Human Pose and Action Recognition被引用数 5

ひとこと要約

HyNetは、すべての特徴マップにL2正規化を統合し、三重損失におけるハイブリッド類似度測定を組み込んだ、画期的な局所記述子ネットワークを提案する。これにより、マッチング性能が顕著に向上し、特徴マップのノルムと勾配フローの最適化により、パッチマッチング、検証、リコール、3D再構築ベンチマークで最先端の結果を達成した。

ABSTRACT

Recent works show that local descriptor learning benefits from the use of L2 normalisation, however, an in-depth analysis of this effect lacks in the literature. In this paper, we investigate how L2 normalisation affects the back-propagated descriptor gradients during training. Based on our observations, we propose HyNet, a new local descriptor that leads to state-of-the-art results in matching. HyNet introduces a hybrid similarity measure for triplet margin loss, a regularisation term constraining the descriptor norm, and a new network architecture that performs L2 normalisation of all intermediate feature maps and the output descriptors. HyNet surpasses previous methods by a significant margin on standard benchmarks that include patch matching, verification, and retrieval, as well as outperforming full end-to-end methods on 3D reconstruction tasks.

研究の動機と目的

• トレーニング中のバックプロパゲーションによる局所記述子勾配にL2正規化が与える影響を調査すること。
• 既存の局所記述子が多様なタスクにおいてマッチング精度と一般化性能に欠ける問題を解決すること。
• すべての特徴マップレベルでL2正規化を強制する新しいネットワークアーキテクチャを設計し、勾配の安定性と記述子の質を向上させること。
• 三重損失におけるハイブリッド類似度測定を設計し、記述子学習における判別力の向上を図ること。
• リコール、検証、3D再構築を含む標準ベンチマークで最先端の性能を達成すること。

提案手法

• 三重損失のマージン内にコサイン類似度とL2距離を組み合わせたハイブリッド類似度測定を導入し、判別的学習を向上させる。
• すべての中間特徴マップおよび最終出力記述子にL2正規化を適用し、勾配フローの安定化と記述子のコンパクト性の向上を図る。
• 記述子ノルムを制約する正則化項を組み込み、トレーニング中に一貫した特徴の大きさを維持する。
• すべてのレイヤーで明示的にL2正規化を強制する新しいネットワークアーキテクチャを設計し、特徴表現の質を向上させる。
• ハイブリッド類似度測定を用いた三重損失を用いて、ハードネガティブマイニングと分類間の分離性の向上を最適化する。
• バックプロパゲーションを用いてエンドツーエンドでモデルをトレーニングし、正規化された勾配を活用して収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 L2正規化は、トレーニング中の局所記述子のバックプロパゲート勾配にどのように影響するか？
• RQ2 三重損失におけるハイブリッド類似度測定は、標準的な指標と比較して記述子の判別性を向上させられるか？
• RQ3 すべての特徴マップにL2正規化を適用することで、より強固で一般化可能な記述子が得られるか？
• RQ4 HyNetは、標準的なマッチングベンチマークで、既存の局所記述子をどの程度上回るか？
• RQ5 エンドツーエンドの3D再構築タスクにおいて、HyNetは完全なエンドツーエンド手法と比較して優れた性能を発揮できるか？

主な発見

• HyNetは、パッチマッチング、検証、画像リコールタスクを含む、標準的な局所記述子ベンチマークで最先端の性能を達成した。
• 3D再構築タスクにおいて、以前の手法を顕著に上回り、完全なエンドツーエンド学習アプローチをも凌駕した。
• 中間特徴マップのL2正規化により、トレーニング中の勾配バックプロパゲーションがより安定的かつ効果的になった。
• 三重損失におけるハイブリッド類似度測定は、正例と負例の区別能力を向上させた。
• 記述子ノルムの一貫性を制約する正則化項は、一般化性能とマッチング精度を向上させた。
• 特徴マップ全体にわたる完全なL2正規化を実装した提案アーキテクチャは、よりコンパクトで判別性の高い記述子を生成した。