[論文レビュー] Embarrassingly Simple Binary Representation Learning

Yuming Shen, Jie Qin+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 5

ひとこと要約

この論文では、微分可能バイナリボトルネックと単一の尤度最大化目的関数を用いて、標準的な分類ネットワークを訓練することで、最先端の性能を達成する、極めて単純な深層ハッシングモデルJMLHを提案する。変分情報ボトルネック正則化と確率的勾配推定を活用することで、補助モデルや複雑な最適化を必要とせず、高品質なバイナリコードを生成する。CIFAR-10、NUS-WIDE、ImageNetにおいて、SOTA手法を上回る性能を示した。

ABSTRACT

Recent binary representation learning models usually require sophisticated binary optimization, similarity measure or even generative models as auxiliaries. However, one may wonder whether these non-trivial components are needed to formulate practical and effective hashing models. In this paper, we answer the above question by proposing an embarrassingly simple approach to binary representation learning. With a simple classification objective, our model only incorporates two additional fully-connected layers onto the top of an arbitrary backbone network, whilst complying with the binary constraints during training. The proposed model lower-bounds the Information Bottleneck (IB) between data samples and their semantics, and can be related to many recent `learning to hash' paradigms. We show that, when properly designed, even such a simple network can generate effective binary codes, by fully exploring data semantics without any held-out alternating updating steps or auxiliary models. Experiments are conducted on conventional large-scale benchmarks, i.e., CIFAR-10, NUS-WIDE, and ImageNet, where the proposed simple model outperforms the state-of-the-art methods.

研究の動機と目的

• 離散最適化や生成モデルのような複雑な部品が、効果的な教師ありハッシングに必要かどうかを調査すること。
• バイナリ制約を維持しながら意味情報を保持する、最小限の構造だが強力な深層ハッシングフレームワークを開発すること。
• 標準的な分類ネットワークにバイナリボトルネックを組み込むことで、最先端のハッシングモデルを上回ることを示すこと。
• 提案手法の理論的基盤を、変分情報ボトルネック（VIB）フレームワークを用いて提供すること。

提案手法

• モデルは、最終的な特徴表現の直後に微分可能バイナリボトルネック層を挿入した標準的な深層ニューラルネットワークを用いる。
• データラベルの尤度を最大化するための単一の分類損失が適用され、入力データと意味的特徴の間の情報ボトルネック（IB）の変分下界を形成する。
• ストレートスラッシュ（ST）や分布の導関数を用いた確率的勾配推定により、バックプロパゲーション中にバイナリ制約を保持する。
• 入力データと学習されたバイナリコード間の相互情報量を制御する正則化項が、過剰な正則化を防ぐ。
• すべてのネットワークが確率的勾配降下法（SGD）を用いてエンド・トゥ・エンドで訓練され、交互更新や補助ネットワークの必要性がなくなる。
• 本手法は任意のバックボーンネットワークと互換性があり、追加で2つの全結合層のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 補助部品がなく、バイナリボトルネックを備えたシンプルな分類ネットワークが、教師ありハッシングで最先端の性能を達成できるか？
• RQ2 確率的勾配推定により離散的制約を保持することで、勾配降下法を用いてエンド・トゥ・エンドでバイナリ表現モデルを訓練できるか？
• RQ3 短いコード長における精度、学習効率、一般化性能の観点から、本手法は既存のハッシングモデルとどのように比較されるか？
• RQ4 情報ボトルネック正則化は、バイナリコードにおける意味的表現の向上に果たす役割は何か？

主な発見

• JMLHは、CIFAR-10、NUS-WIDE、ImageNetのベンチマークで最先端の手法を上回り、すべてのコード長において高いmAPスコアを達成した。
• MIHashよりも10エポック早く収束し、そのシンプルさにもかかわらず、優れた学習効率を示した。
• 極めて短いコード長（例：4〜12ビット）でも、エントロピー保存正則化のおかげで、GreedyHash や DHN を上回る強力な性能を維持した。
• t-SNE可視化により、学習された32ビットコードが意味的クラスごとに明確に分離されていることが確認され、効果的な意味的クラスタリングが実現していることが示された。
• アブレーションスタディでは、正則化を削除した場合（JMLH-NR）に一般化性能が著しく低下することが判明し、IBベースの目的関数の重要性が強調された。
• 極めてシンプルなアーキテクチャで、総パrameter数はAlexNetをわずかに下回り、軽量かつ効率的であることが達成された。