[論文レビュー] Learning A Deep $\ell_\infty$ Encoder for Hashing

Wang, Zhangyang, Shuicheng Yan+3 more|arXiv (Cornell University)|Apr 6, 2016

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、量子化に頑健な表現を生成するためにℓ∞-制約付き最小二乗問題を活用する深層ℓ∞エンコーダを提案する。ADMMアルゴリズムを、有界線形ユニット（BLU）と学習可能なバイアスを用いて、順方向型ニューラルネットワークに再定式化する。この手法は、量子化誤差に対する固有の頑健性を有するため、特に低ビット長での精度が顕著に優れている。

ABSTRACT

We investigate the $\ell_\infty$-constrained representation which demonstrates robustness to quantization errors, utilizing the tool of deep learning. Based on the Alternating Direction Method of Multipliers (ADMM), we formulate the original convex minimization problem as a feed-forward neural network, named extit{Deep $\ell_\infty$ Encoder}, by introducing the novel Bounded Linear Unit (BLU) neuron and modeling the Lagrange multipliers as network biases. Such a structural prior acts as an effective network regularization, and facilitates the model initialization. We then investigate the effective use of the proposed model in the application of hashing, by coupling the proposed encoders under a supervised pairwise loss, to develop a extit{Deep Siamese $\ell_\infty$ Network}, which can be optimized from end to end. Extensive experiments demonstrate the impressive performances of the proposed model. We also provide an in-depth analysis of its behaviors against the competitors.

研究の動機と目的

• ℓ∞-制約付き最適化のための従来の反復的ソルバーには、計算遅延が高くスケーラビリティに欠けるという問題があるため、これを解消すること。
• ℓ∞-ノルム正則化を深層ニューラルネットワークアーキテクチャに組み込み、量子化誤差に対して内在的に頑健なエンドツーエンド学習を可能とすること。
• 提案されたℓ∞エンコーダを用いたシAMESEネットワークを設計し、教師付きペairワイズ損失関数を用いることで、深層ハッシング性能を向上させること。
• スパarsity（SNNHにおけるもの）と反スパarsity、民主的表現（本手法におけるもの）の間の、精度と再現率という観点でのトレードオフを分析すること。

提案手法

• 交替方向乗数法（ADMM）を用いて、ℓ∞-制約付き最小二乗問題を再定式化し、反復的アルゴリズムを導出する。
• ラグランジュ乗数を学習可能なバイアスとしてモデル化し、非線形活性化関数として有界線形ユニット（BLU）ニューロンを導入することで、ADMMの反復ステップを順方向型ニューラルネットワーク構造に変換する。
• 各層が1回のADMM更新ステップに対応するリラクサントのようなネットワーク構造として、深層ℓ∞エンコーダを設計し、微分可能最適化を可能にする。
• 同一の深層ℓ∞エンコーダを2つペアにして構築した深層シAMESEℓ∞ネットワークを設計し、教師付きペアワイズランク損失関数を用いて訓練することで、判別的なハッシングコードを学習する。
• バックプロパゲーションを用いて、ネットワーク全体をエンドツーエンドで訓練可能とし、特徴学習とハッシングコード生成の共同最適化を可能にする。
• すべての表現係数が絶対値で有界であるようにℓ∞制約を適用することで、エネルギーの均等な分布を促進し、量子化に対する頑健性を高める。

実験結果

リサーチクエスチョン

• RQ1 ℓ∞-制約付き最適化問題を、望ましいインダクティブバイアスを持つトレーナブルな深層ニューラルネットワークアーキテクチャに効果的に変換できるか？
• RQ2 ハッシングにおける量子化への頑健性という観点から、ℓ∞ベースの表現は、スパース（ℓ1）またはディンス（ℓ2）表現と比べてどのように異なるか？
• RQ3 低ビットコード長におけるハッシングの精度と再現率に、ℓ∞が誘導する民主的表現がどのような影響を与えるか？
• RQ4 SNNHのスパarsityプライアと比較して、ℓ∞エンコーダの構造的プライアは、精度と再現率の間でどのように振る舞い、どのようなトレードオフを示すか？
• RQ5 ℓ∞-制約付き最適化のADMMベースの再定式化は、スケーラブルで微分可能かつトレーナブルな深層モデルを大規模ハッシングに適用可能か？

主な発見

• 提案された深層ℓ∞エンコーダは、CIFAR-10およびNUS-WIDEの両データセットで、すべての手法と比較して最高の精度を達成した。CIFAR-10ではN=64ビットで33.30%、NUS-WIDEではN=256ビットで89.49%の精度を記録した。
• 低ビット長（例：CIFAR-10のN=48）においても優れた性能を維持しており、競合手法を著しく上回り、高いコンパクト性と精度のトレードオフを示している。
• ℓ∞エンコーダは、量子化に極めて頑健なほぼ反対極的表現を生成しており、バイナリゼーション時の情報損失を最小限に抑えている。これが、高い精度を説明している。
• 再現率はSNNHよりわずかに低いが、コード長が延長するにつれて性能差は縮小し、ℓ∞プライアが量子化中に情報をより効果的に保持していることを示している。
• 本手法の表現はSNNHよりもスパース性が低く、ユニークなハッシングコードの数も少ないため、次元全体にわたるエネルギーの均一な分布が示唆される。
• 分析により、ℓ∞ベースとℓ1ベースのプライアは補完的であることが確認された。ℓ∞は頑健性により精度を向上させるが、ℓ1はクラスタリングにより再現率を向上させる。したがって、ハイブリッドモデルの構築が有望である。