[論文レビュー] Fast Training of Triplet-based Deep Binary Embedding Networks

Bohan Zhuang, Guosheng Lin+2 more|arXiv (Cornell University)|Mar 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークの学習から二値コードの推論を分離することで、三重項ベースのディープバイナリハッシングの高速化を図る二段階フレームワークを提案する。高次三重項損失をグラフカットを用いて効率的に解ける二値二次計画問題（BQP）に定式化し、推定されたコード上で段階的に深層畳み込みニューラルネットワーク（CNN）を学習することで、従来手法に比べ最大100倍の高速化を達成した。CASIA や IJB-A を含むベンチマークデータセット上でも、最先端の検索精度を維持または上回った。

ABSTRACT

In this paper, we aim to learn a mapping (or embedding) from images to a compact binary space in which Hamming distances correspond to a ranking measure for the image retrieval task. We make use of a triplet loss because this has been shown to be most effective for ranking problems. However, training in previous works can be prohibitively expensive due to the fact that optimization is directly performed on the triplet space, where the number of possible triplets for training is cubic in the number of training examples. To address this issue, we propose to formulate high-order binary codes learning as a multi-label classification problem by explicitly separating learning into two interleaved stages. To solve the first stage, we design a large-scale high-order binary codes inference algorithm to reduce the high-order objective to a standard binary quadratic problem such that graph cuts can be used to efficiently infer the binary code which serve as the label of each training datum. In the second stage we propose to map the original image to compact binary codes via carefully designed deep convolutional neural networks (CNNs) and the hashing function fitting can be solved by training binary CNN classifiers. An incremental/interleaved optimization strategy is proffered to ensure that these two steps are interactive with each other during training for better accuracy. We conduct experiments on several benchmark datasets, which demonstrate both improved training time (by as much as two orders of magnitude) as well as producing state-of-the-art hashing for various retrieval tasks.

研究の動機と目的

• 三重項ベースのディープバイナリハッシングの学習コストが訓練データサイズに立方的に増加するという、著しく高いコスト問題に対処すること。
• ランキング性能を損なわず、大規模なハッシュ関数の訓練を効率的に行えるようにすること。
• 二値コードの推定と深層特徴学習を分離することで、計算効率を向上させるスケーラブルなフレームワークを構築すること。
• 訓練時間を桁違いに短縮しつつ、高い検索精度を維持すること。
• 段階的最適化の有効性が、コード品質およびモデル性能の向上に寄与することを示すこと。

提案手法

• 三重項ベースのランク損失を高次元二値推定問題に定式化し、効率的な最適化が可能な二階微分の二値二次計画問題（BQP）に変換する。
• ブロック座標降下法を用いたグラフカットを用いてBQPを解き、三重項制約から得られる二値コードのスケーラブルな推定を実現する。
• 画像をコンactな二値コードにマップする深層畳み込みニューラルネットワーク（CNN）を設計し、推定されたコードに基づく二値分類により学習する。
• 二値コードとディープハッシュ関数の相互更新を繰り返すインタラクティブな段階的最適化戦略を採用し、相互の性能向上を図る。
• 特徴初期化のための教師あり事前学習をVGG-16で実施し、その後に提案された二段階フレームワークによる微調整を実施する。
• 顔検索実験における頑健性と次元削減のため、データ拡張（水平ミラー）とPCAを適用する。

実験結果

リサーチクエスチョン

• RQ1 高次三重項ベースの損失関数は、大規模な二値コード学習において効率的に最適化可能か？
• RQ2 ディープネットワークの学習から二値コードの推定を分離することで、検索精度を損なわず、著しく訓練時間を短縮できるか？
• RQ3 コード推定とディープ特徴学習の間で段階的最適化を実施することで、コード品質およびモデル性能が向上するか？
• RQ4 大規模ベンチマークにおいて、提案手法は最先端のハッシング手法と比較して、速度および検索精度の面で優れているか？
• RQ5 単一のディープモデルを用いても、128ビットの二値コードのみで競争力のある性能を達成できるか？

主な発見

• 提案手法は、FaceNet などの従来の三重項ベース手法に比べ、最大100倍の高速化を達成し、訓練時間を数か月から数日へ短縮した。
• IJB-A 顔検索ベンチマークにおいて、128ビットで CMC@1 の精度が 0.645±0.058 を達成し、既存の最先端手法を上回った。
• 128ビットコードを用いた場合、LFW データセットでは平均適合率が 0.889±0.020 を達成し、優れた検索性能を示した。
• 段階的学習におけるグループ長さを小さくすることで、より高い検索精度が得られ、インタラクティブ最適化戦略の有効性が裏付けられた。
• 事前学習済みの VGG-16 モデルのみで、LFW 認証タスクにおいて 97.03%±0.98% の精度を達成し、ハッシングを施す前から強力なベースライン性能を示した。
• フレームワークにより、単一のディープモデルからの128ビット二値コードのみで、高速かつ低ストレージ要件の顔検索が実現可能となった。