[論文レビュー] One Loss for Quantization: Deep Hashing with Discrete Wasserstein Distributional Matching

Khoa D. Doan, Peng Yang+1 more|arXiv (Cornell University)|May 31, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿では、Sliced Wasserstein Distanceの新規で効率的な変種であるHSWD（Hash-based Sliced Wasserstein Distance）を用いて、学習された連続的ハッシュコードと一様な離散的分布との間の分布的距離を最小化することにより、深層教師付き画像ハッシングのための単一損失量子化手法を提案する。この手法は同時にコードのバランスを向上させ、量子化誤差を低減し、従来のマルチ損失手法と比較して計算コストが低く、複数のデータセットおよびモデルで優れた検索性能を達成する。

ABSTRACT

Image hashing is a principled approximate nearest neighbor approach to find similar items to a query in a large collection of images. Hashing aims to learn a binary-output function that maps an image to a binary vector. For optimal retrieval performance, producing balanced hash codes with low-quantization error to bridge the gap between the learning stage's continuous relaxation and the inference stage's discrete quantization is important. However, in the existing deep supervised hashing methods, coding balance and low-quantization error are difficult to achieve and involve several losses. We argue that this is because the existing quantization approaches in these methods are heuristically constructed and not effective to achieve these objectives. This paper considers an alternative approach to learning the quantization constraints. The task of learning balanced codes with low quantization error is re-formulated as matching the learned distribution of the continuous codes to a pre-defined discrete, uniform distribution. This is equivalent to minimizing the distance between two distributions. We then propose a computationally efficient distributional distance by leveraging the discrete property of the hash functions. This distributional distance is a valid distance and enjoys lower time and sample complexities. The proposed single-loss quantization objective can be integrated into any existing supervised hashing method to improve code balance and quantization error. Experiments confirm that the proposed approach substantially improves the performance of several representative hashing~methods.

研究の動機と目的

• 高精度な検索性能に不可欠な、低量子化誤差とバランスの取れたコード分布を両立させる課題に対処すること。
• ヒューリスティック的で計算コストが高く、多数のハイパーパramータチューニングを必要とする従来のマルチ損失量子化手法の限界を克服すること。
• 連続的ハッシュコードと一様な離散的分布との間の分布的距離を最小化するという新たな最適化目的を定式化することで、主要な性能指標を統合的に最適化可能にする。
• ハッシュ関数の離散的性質を活用することで、サンプル数と時間的複雑度を低減する、計算効率の良い分布的距離メトリック（HSWD）を開発すること。
• 提案手法を既存の深層ハッシングフレームワークに容易に統合でき、アーキテクチャの変更なしに性能を向上させることを実証すること。

提案手法

• ハッシュ関数の連続的出力分布と、バイナリーハッシュコード上の事前定義された一様な離散的分布との間の分布的距離を最小化するという量子化目的を定式化する。
• 低サンプル複雑度と推定のしやすさから、Sliced Wasserstein Distance（SWD）をベースの分布的距離として採用する。
• ハッシュコードの離散的構造を活用することで、必要なランダム射影の数を削減する、新規な変種であるHSWD（Hash-based Sliced Wasserstein Distance）を提案する。
• HSWDは、ハッシュコード長に等しい数の射影のみを用いるため、情報のない方向への余分な射影を排除し、高コストな行列積を回避する。
• 任意の既存の教師付きハッシングフレームワークに、HSWDを単一の微分可能な損失項として統合し、複数のヒューリスティックな量子化損失を置き換える。
• この手法により、エンドツーエンドの学習が可能となり、モデルはバランスが取れており、離散的バイナリーハッシュコードに近い連続的コードを学習するようになる。その結果、量子化誤差が最小化される。

Figure 1 : A visual illustration of the optimal function (Figure (b)) and learned hash function with poor the code balance (Figure (c)) and quantization constraint (Figure (d)). Figure (a) shows the original data clusters from four classes.

実験結果

リサーチクエスチョン

• RQ1 統合的で単一の損失目的が、深層教師付き画像ハッシングにおける量子化誤差とコードバランスの両方を効果的に最適化できるか？
• RQ2 学習された連続的ハッシュ分布を一様な離散的分布にマッチングさせることで、従来のマルチ損失量子化方式と比較して検索性能が向上するか？
• RQ3 離散的ハッシュコード最適化に適した理論的に妥当かつ計算的に効率的な分布的距離メトリックを設計できるか？
• RQ4 HSWDは、標準的なSWDおよび既存の量子化損失と比較して、トレーニング時間と検索精度の面で、どのように効率性と性能を発揮するか？
• RQ5 提案手法は、多様な深層ハッシングモデルおよびベンチマークデータセットにおいて、どの程度性能向上を達成できるか？

主な発見

• CIFAR-10、NUS-WIDE、COCOデータセットにおいて、HSWDベースの量子化手法は、元の手法と比較して1エポックあたり最大40％、SWDベースの量子化と比較して20–30％のトレーニング時間を短縮した。
• 評価されたすべてのデータセットで、連続的コードとその離散的対応物との間の角度を指標に測定した量子化誤差が顕著に低減され、t-SNEの可視化でもその改善が確認された。
• ビットエントロピー解析により、HSWDはベースライン手法と比較して一貫してよりバランスの取れたハッシュコード（高いエントロピー）を生成しており、分布の一様性が向上していることが示された。
• CSQおよびDCHといった複数の最先端ハッシングモデルにおいて、HSWDを量子化損失として用いることで、mAPおよびリCALL指標に一貫した向上が見られた。
• 16ビットハッシュコードの定性的なt-SNE可視化では、HSWDが標準的な量子化法やSWDと比較して、クラス間分離性が向上し、クラス内コンパクト性が向上していることが示された。
• 複数のヒューリスティックな損失項を1つの理論的根拠に基づく分布的距離目的に置き換えることで、ハイパーパramータチューニングの必要性が削減された。

((a)) HashNet (mAP: 0.7208)