[論文レビュー] Efficient Training of Very Deep Neural Networks for Supervised Hashing

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 54被引用数 7

ひとこと要約

本稿では、非常に深いニューラルネットワーク（最大64層、1層あたり1024ノード）の教師ありハッシングのための効率的学習を可能にする、新しいADMMベースのトレーニングアルゴリズムであるVery Deep Supervised Hashing（VDSH）を提案する。バックプロパゲーションとは異なり、補助変数を用いて各層の更新を独立して行うことで、線形の計算量の複雑さを達成し、1つのGPUで約3時間で収束する。MNIST、CIFAR-10、NUS-WIDEの各データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose training very deep neural networks (DNNs) for supervised learning of hash codes. Existing methods in this context train relatively "shallow" networks limited by the issues arising in back propagation (e.e. vanishing gradients) as well as computational efficiency. We propose a novel and efficient training algorithm inspired by alternating direction method of multipliers (ADMM) that overcomes some of these limitations. Our method decomposes the training process into independent layer-wise local updates through auxiliary variables. Empirically we observe that our training algorithm always converges and its computational complexity is linearly proportional to the number of edges in the networks. Empirically we manage to train DNNs with 64 hidden layers and 1024 nodes per layer for supervised hashing in about 3 hours using a single GPU. Our proposed very deep supervised hashing (VDSH) method significantly outperforms the state-of-the-art on several benchmark datasets.

研究の動機と目的

• 非常に深いネットワークの教師ありハッシングのトレーニングにおける消失勾配問題と計算上の非効率性を克服すること。
• 1つのGPUを用いて最大64層の隠れ層と1層あたり1024ノードの深層ネットワークをトレーニング可能にする。
• 非常に深いアーキテクチャに対しても安定的かつ信頼性があり、計算的に効率的なトレーニングアルゴリズムを開発すること。
• ハッシュコードの品質を向上させ、類似性を保つコンactな表現を学習することで、リtrieval性能を向上させること。
• VDSHがベンチマークデータセットにおいて、既存の教師ありハッシング手法を上回ることを実証すること。

提案手法

• VDSHのトレーニングを、符号化された特徴量とラベルベクトルの差を最小化するためのℓ₂正則化最小二乗問題として定式化する。
• 各隠れ層の出力を表す補助変数を導入し、深層ネットワーク特徴量の再帰的モデリングを可能にする。
• 等式制約を最適化に組み込むために増廣ラグランジュを用い、局所的な層ごとの更新に分解可能にする。
• 隣接層間の重みを格納するための追加の補助変数を導入し、独立的かつ効率的な局所最適化を可能にする。
• ADMMベースのアルゴリズムは、ネットワークパラメータ、補助変数、双対変数を交互に更新することで収束を保証する。
• ハッシュコードは、最終隠れ層の出力を丸めることで生成され、ハミング空間における類似性が保持される。

実験結果

リサーチクエスチョン

• RQ1 非常に深いニューラルネットワークの教師ありハッシングのための、消失勾配や計算上のボトルネックを克服できるトレーニングアルゴリズムを設計できるか？
• RQ2 ADMMベースのアプローチは、非常に深いネットワークのハッシングのトレーニングにおいて、安定的かつ高速に収束を実現できるか？
• RQ3 VDSHは、非常に深いアーキテクチャを用いて、ベンチマークデータセットで最先端のリtrieval性能を達成できるか？
• RQ4 VDSHの計算量の複雑さは、バックプロパゲーションと比較して、ネットワークの深さと幅にどのようにスケーリングするか？
• RQ5 VDSHは、既存の手法と比較して、よりコンパクトで分離性の高いハッシュコードクラスタを生成できるか？

主な発見

• VDSHは、1つのGTX TITAN GPUを用いて、64層、1層あたり1024ノードの深層ニューラルネットワークを教師ありハッシングのためのトレーニングを約3時間で成功裏に実行した。
• トレーニングアルゴリズムは滑らかに収束し、ネットワークのエッジ数に比例する線形の計算量の複雑さを示した。
• 190K件のサンプルを含むデータベースにおいて、128ノード、32層のネットワークを用いたNUS-WIDEデータセットでは、VDSHが1サンプルあたり31.4ミリ秒でリtrievalを実行した。
• ILSVRC2012データセットにおいて、64ビットのハッシュコードを用い、ハミング半径2の範囲内で、VDSHは7.73%の精度と4.82%のリ call を達成した。これは、SDH（2.67%精度）とFastHash（0.29%精度）を著しく上回った。
• 可視化結果から、VDSHはSDHと比較して、ハミング空間においてより明確でコンパクトなクラスタを生成していることが示された。これは、類似性の保持性が優れていることを示している。
• VDSHは、さまざまなハミング半径においても強固で安定した性能を維持した。一方、SDHやFastHashは、半径が小さくなると著しく性能が低下した。