[論文レビュー] Probability Weighted Compact Feature for Domain Adaptive Retrieval

Fuxiang Huang, Lei Zhang+2 more|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本稿では、ベイジアン視点に基づく損失関数と、近隣のヒストグラム特徴（HFON）を用いてドメイン間相関をモデル化し、分布の不一致を軽減することで、クロスドメイン画像検索のための新規手法である確率加重コンact特徴学習（PWCF）を提案する。共通の多様体構造と、BP由来のフォーカルトリプレット、量子化、分類損失を統合することで、PWCFは、コンパクトなバイナリコードを用いて、クロスドメインおよびシングルドメインの両方の検索で最先端の性能を達成し、ベンチマークデータセットにおいて、既存手法を上回っている。

ABSTRACT

Domain adaptive image retrieval includes single-domain retrieval and cross-domain retrieval. Most of the existing image retrieval methods only focus on single-domain retrieval, which assumes that the distributions of retrieval databases and queries are similar. However, in practical application, the discrepancies between retrieval databases often taken in ideal illumination/pose/background/camera conditions and queries usually obtained in uncontrolled conditions are very large. In this paper, considering the practical application, we focus on challenging cross-domain retrieval. To address the problem, we propose an effective method named Probability Weighted Compact Feature Learning (PWCF), which provides inter-domain correlation guidance to promote cross-domain retrieval accuracy and learns a series of compact binary codes to improve the retrieval speed. First, we derive our loss function through the Maximum A Posteriori Estimation (MAP): Bayesian Perspective (BP) induced focal-triplet loss, BP induced quantization loss and BP induced classification loss. Second, we propose a common manifold structure between domains to explore the potential correlation across domains. Considering the original feature representation is biased due to the inter-domain discrepancy, the manifold structure is difficult to be constructed. Therefore, we propose a new feature named Histogram Feature of Neighbors (HFON) from the sample statistics perspective. Extensive experiments on various benchmark databases validate that our method outperforms many state-of-the-art image retrieval methods for domain adaptive image retrieval. The source code is available at https://github.com/fuxianghuang1/PWCF

研究の動機と目的

• ドメインの分布の不一致により、クエリとデータベースが異なるドメインに属する場合の画像検索性能の低下を解消すること。
• 従来手法が類似したデータ分布を仮定するが、実際には分布が異なるクロスドメイン環境における検索精度の向上。
• 検索速度を向上させるために、コンパクトなバイナリ特徴表現を開発するとともに、クロスドメインの意味的類似性を保持すること。
• 共通の多様体構造を用いて、ドメインシフトの影響を軽減し、ドメイン間のサンプル相関をモデル化すること。
• 近隣のヒストグラム特徴（HFON）という、より良いクロスドメイン近隣関係を捉えるためのロバストな類似度メトリクスを提案すること。

提案手法

• フォーカルトリプレット損失、量子化損失、分類損失の3つのベイジアン視点（BP）由来の損失関数を導出することで、バイナリ特徴学習を最適化する。
• ハミング空間における意味のある最近傍関係を保つために、ドメイン間で共通の多様体構造を構築する。
• ドメインバイアスを低減するためのドメインに頑健な特徴表現として、近隣のヒストグラム特徴（HFON）を導入する。
• 最大事後確率（MAP）推定を用いて損失関数を導出し、特徴の識別性を向上させるとともに、量子化誤差を低減する。
• 変数交互最適化戦略を採用し、モデルの各コンponentを同時に学習させ、収束を保証する。
• 特徴学習、量子化、ドメイン間相関モデリングを統合した統合フレームワークを構築し、一括して最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なトリプレット損失や分類損失と比較して、ベイジアン最適化損失関数はクロスドメイン画像検索性能を向上させるか？
• RQ2 提案された近隣のヒストグラム特徴（HFON）は、分布シフト下でもクロスドメインサンプル間の類似性をどれほど効果的にモデル化できるか？
• RQ3 共通の多様体構造は、バイナリ特徴空間におけるドメイン間相関学習をどの程度向上させるか？
• RQ4 複数のBP由来損失を統合することで、個々のコンponentよりも優れたコンパクトなバイナリコード表現が得られるか？
• RQ5 PWCFは、クロスドメインおよびシングルドメインの両検索設定において、さまざまなデータセットとコード長でどの程度の性能を示すか？

主な発見

• PWCFは、128ビットコードを用いてOffice-Homeデータセットで73.89％のmAPを達成し、最先端手法を顕著に上回った。
• MNIST&USPSデータセットでは、64ビットでクロスドメイン検索において71.64％のmAPを達成し、優れた一般化性能を示した。
• アブレーションスタディの結果、特にBP由来のフォーカルトリプレット損失やHFONを削除すると、性能が顕著に低下した。
• 提案手法は収束が早く、複数のデータセットで、数回のイテレーション内に目的関数曲線が安定した収束を示した。
• PWCFはさまざまなコード長で高い性能を維持しており、実用的展開におけるロバスト性とスケーラビリティを示した。
• 多様体損失とHFONの導入は、常に検索精度を向上させ、クロスドメイン関係のモデリングにおける有効性を裏付けた。