[論文レビュー] Ternary Hashing

Chang Liu, Lixin Fan+6 more|arXiv (Cornell University)|Mar 16, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、近似最近傍探索における近隣の曖昧さを軽減するために、二値コードの代わりに三値コード（+1, 0, -1）を用いる新しい深層学習手法、Ternary Hashingを提案する。二重しきい値戦略を導入し、ŁukasiewiczおよびKleene論理を用いて三値ハミング距離をモデル化することで、正例と負例の間の期待距離を増加させ、CIFAR-10、NUS-WIDE、ImageNet100のベンチマークにおいて、より高い検索精度を達成した。

ABSTRACT

This paper proposes a novel ternary hash encoding for learning to hash methods, which provides a principled more efficient coding scheme with performances better than those of the state-of-the-art binary hashing counterparts. Two kinds of axiomatic ternary logic, Kleene logic and Łukasiewicz logic are adopted to calculate the Ternary Hamming Distance (THD) for both the learning/encoding and testing/querying phases. Our work demonstrates that, with an efficient implementation of ternary logic on standard binary machines, the proposed ternary hashing is compared favorably to the binary hashing methods with consistent improvements of retrieval mean average precision (mAP) ranging from 1\% to 5.9\% as shown in CIFAR10, NUS-WIDE and ImageNet100 datasets.

研究の動機と目的

• 二値ハッシングを超えて、ハッシュベースの検索における近隣の曖昧さを低減すること。
• ハミング空間における正例と負例の距離の分離を向上させること。
• 三値コードを用いた微分可能でエンドツーエンドのトレーニングが可能なハッシングフレームワークを設計すること。
• 既存の二値ハッシング手法に対する優位性を実験的に検証すること。
• クラス内およびクラス間の類似度に基づく、三値ハミング距離の期待値を用いた新しい目的関数を導入すること。

提案手法

• 三値コード {+1, 0, -1} のトライツ間の類似度をモデル化するため、ŁukasiewiczおよびKleene論理を用いた三値ハミング距離（THD）を提案する。
• 三値コード上の確率分布を用いて、二つのサンプル集合間の期待三値ハミング距離を定義する。
• クラス間の期待距離を最大化し、クラス内を最小化するように最適化する二重しきい値探索アルゴリズムを導入する。
• すべてのクラスペアにおける三値ハミング距離の期待値に基づく微分可能な目的関数を用いる。
• SGDおよびAdam最適化アルゴリズムを用いて、エンドツーエンドのトレーニングが可能な深層ニューラルネットワークに本手法を適用する。
• P_T、P_U、P_F がそれぞれコードに +1、0、-1 を割り当てる確率を表す確率的フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 三値ハッシングは、二値ハッシングと比較して、検索タスクにおける近隣の曖昧さを低減できるか？
• RQ2 正例と負例の間の期待三値ハミング距離は、二値ハッシングと比較してどのように異なるか？
• RQ3 実数出力を三値コードにマッピングするための最適なしきい値設定は何か？
• RQ4 論理ベースの距離測定を用いた三値コードの使用は、標準ベンチマークにおける検索性能を向上させるか？
• RQ5 三値ハミング距離の期待値に基づく提案された目的関数は、モデルの収束性および精度にどのように影響するか？

主な発見

• 図3(b)に示すように、三値ハッシングは正例と負例の間の期待ハミング距離を増加させることで、近隣の曖昧さを低減する。
• 三値コードにおけるUNKNOWN状態（0）の使用により、正例と負例の距離分布の重複が減少し、検索の信頼性が向上する。
• CIFAR-10、NUS-WIDE、ImageNet100の各ベンチマークにおいて、六つの既存の二値ハッシングベースラインと比較して、本手法が優れた検索性能を達成した。
• 二重しきい値探索アルゴリズムは、期待三値ハミング距離に基づく目的関数を最大化する最適なしきい値を効果的に同定した。
• ŁukasiewiczおよびKleene論理モデル下での期待三値ハミング距離は、二値ハミング距離よりも類似度の測定が洗練されている。
• 実験結果から、適切なしきい値設定を施した三値コードは、ハミング距離分布に顕著なシフトを引き起こすことが示された—正例は左に、負例は右に移動し、重複が減少した。