[論文レビュー] Supervised Hashing with Deep Neural Networks

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、ADMMにインspiredされた新しいトレーニングアルゴリズムであるVery Deep Supervised Hashing (VDSH)を提案する。この手法により、非常に深いDNN（最大64層）を監視付きハッシュ化のためのトレーニングが可能になる。訓練を補助変数を用いた層ごとの局所的更新に分解することにより、消失勾配問題や計算上のボトル neck を克服し、1台のGPUで3時間未満の時間で、ベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

In this paper, we propose training very deep neural networks (DNNs) for supervised learning of hash codes. Existing methods in this context train relatively shallow networks limited by the issues arising in back propagation (\eg vanishing gradients) as well as computational efficiency. We propose a novel and efficient training algorithm inspired by alternating direction method of multipliers (ADMM) that overcomes some of these limitations. Our method decomposes the training process into independent layer-wise local updates through auxiliary variables. Empirically we observe that our training algorithm always converges and its computational complexity is linearly proportional to the number of edges in the networks. Empirically we manage to train DNNs with 64 hidden layers and 1024 nodes per layer for supervised hashing in about 3 hours using a single GPU. Our proposed very deep supervised hashing (VDSH) method significantly outperforms the state-of-the-art on several benchmark datasets.

研究の動機と目的

• 消失勾配と計算効率の低さによる浅いネットワークの限界を解消すること。
• バックプロpagationの不安定性を回避しつつ、非常に深いニューラルネットワーク（64層以上）を監視付きハッシュ化のためのトレーニングを可能にすること。
• ネットワークサイズに線形的にスケーラブルでありながら、高い精度を維持できるスケーラブルで効率的なトレーニングアルゴリズムを開発すること。
• 実用的なトレーニング時間枠内で、深層アーキテクチャを用いてベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 補助変数を用いて、深層ネットワークのトレーニングを独立した層ごとの局所的更新に分解するADMMにインスパイアされた最適化フレームワークを採用する。
• 各層を順次局所最適化により更新することで、グローバルなバックプロパゲーションプロセスを分離し、消失勾配問題を軽減する。
• 双対変数を用いて制約を強制することで、元の目的関数と交互に最小化を行うことで収束を保証する。
• 計算複雑度はネットワーク内のエッジ数に線形的に比例し、非常に深いアーキテクチャでも効率的なトレーニングが可能になる。
• ReLU活性化関数とハッシュコード予測を組み合わせたエンドツーエンドのトレーニングを可能にしつつ、層レベルでの微分可能性を維持する。
• フレームワークは1台のGPU上で実装されており、1層あたり1024ノードの64層ネットワークを約3時間でトレーニング可能である。

実験結果

リサーチクエスチョン

• RQ1 ADMMに基づくトレーニングアルゴリズムは、消失勾配問題を抱えることなく、非常に深いニューラルネットワークを監視付きハッシュ化のためのトレーニングに効果的に適用できるか？
• RQ2 提案された層ごとの局所的更新戦略は、標準的なバックプロパゲーションと比較して、深層ネットワークにおけるハッシュ精度を維持または向上させることができるか？
• RQ3 本手法の計算スケーラビリティは、ネットワークの深さと幅に関してどの程度か？64層のネットワークを効率的にトレーニングできるか？
• RQ4 標準的なベンチマークデータセットにおいて、提案されたVDSH手法は最先端の監視付きハッシュ化手法と比較して、どの程度の性能を示すか？

主な発見

• 提案されたVDSH手法は、最大64層の隠れ層と1層あたり1024ノードの深層ニューラルネットワークを、監視付きハッシュ化のためのトレーニングに成功している。
• 1台のGPUを用いて約3時間でトレーニングが完了し、高い計算効率を示している。
• すべての実験において一貫して収束し、深層バックプロパゲーションで一般的に見られる不安定性の問題を克服している。
• 計算複雑度はネットワーク内のエッジ数に線形的に比例し、大規模なアーキテクチャへの効率的スケーリングを可能にしている。
• VDSHは複数のベンチマークデータセットで最先端の性能を達成しており、既存の手法を顕著に上回っている。
• 補助変数を介した層ごとの局所的更新戦略が、非常に深いネットワークにおける消失勾配問題を効果的に緩和している。