[論文レビュー] MILDNet: A Lightweight Single Scaled Deep Ranking Architecture

Anirudha Vishvakarma|arXiv (Cornell University)|Mar 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 5

ひとこと要約

MILDNetは、複数の中間畳み込みニューラルネットワーク（CNN）層からの特徴を統合することで、マルチスケールCNNと比較してモデルサイズが3分の1、学習が3倍速く、推論遅延が3倍短い軽量でシングルスケールの深層順序付けアーキテクチャを提案する。スキップ接続とアブレーション検証による特徴統合を用いて、1つのコンactモデルでStreet-to-Shopデータセットにおいて同等の精度を達成する。

ABSTRACT

Multi-scale deep CNN architecture [1, 2, 3] successfully captures both fine and coarse level image descriptors for visual similarity task, but they come up with expensive memory overhead and latency. In this paper, we propose a competing novel CNN architecture, called MILDNet, which merits by being vastly compact (about 3 times). Inspired by the fact that successive CNN layers represent the image with increasing levels of abstraction, we compressed our deep ranking model to a single CNN by coupling activations from multiple intermediate layers along with the last layer. Trained on the famous Street2shop dataset [4], we demonstrate that our approach performs as good as the current state-of-the-art models with only one third of the parameters, model size, training time and significant reduction in inference time. The significance of intermediate layers on image retrieval task has also been shown to be performing on popular datasets Holidays, Oxford, Paris [5]. So even though our experiments are done on ecommerce domain, it is applicable to other domains as well. We further did an ablation study to validate our hypothesis by checking the impact on adding each intermediate layer. With this we also present two more useful variants of MILDNet, a mobile model (12 times smaller) for on-edge devices and a compactly featured model (512-d feature embeddings) for systems with less RAMs and to reduce the ranking cost. Further we present an intuitive way to automatically create a tailored in-house triplet training dataset, which is very hard to create manually. This solution too can also be deployed as an all-inclusive visual similarity solution. Finally, we present our entire production level architecture which currently powers visual similarity at Fynd.

研究の動機と目的

• ビジュアル類似度タスクに使用されるマルチスケールCNNの高いメモリ使用量と遅延を低減すること。
• 微細な特徴と粗い特徴の両方を効率的に捉えるコンactなディープラーニングアーキテクチャの開発。
• メモリ制限のあるシステムやエッジデバイスへの展開を可能にするために、モデルのバリエーションを提供すること。
• ドメイン固有のビジュアル類似度学習のための、インハウスのトリプレット訓練データの自動生成を実現すること。
• eコマースプラットフォーム向けにスケーラブルで生産環境対応のビジュアル類似度パイプラインを構築すること。

提案手法

• MILDNetは、1つのCNNの複数の中間層（最終層を含む）からの特徴を統合し、階層的な抽象化を捉える。
• スキップ接続を用いて、異なる深さからの活性化を組み合わせることで、モデルの深さを増さずに特徴の豊かさを向上させる。
• 類似度学習を促進するために、クエリ画像、ポジティブ画像、ネガティブ画像からなるトリプレットを用いて、トレーニング中にトリプレット損失を適用する。
• アブレーションスタディにより、各中間層の貢献度がリtrieval性能に与える影響を検証する。
• 2つのバリエーションを導入：エッジデプロイ用にMobileNetを用いたモバイル版、メモリ制限のあるシステム向けの512次元特徴版。
• 自動パイプラインにより、ドメイン固有のビジュアル類似度学習に適したインハウスのトリプレットデータセットを生成する。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルの特徴統合を施したシングルスケールCNNは、ビジュアル類似度タスクにおいてマルチスケールCNNと同等の性能を達成できるか？
• RQ2 中間層特徴の統合が、リtrieval精度とモデル効率にどのように影響するか？
• RQ3 精度を損なわずに、モデルサイズと推論遅延をどの程度まで削減できるか？
• RQ4 自動手法により、高品質でドメイン固有のトリプレット訓練データを生成できるか？
• RQ5 提案されたアーキテクチャは、実世界のeコマース生産パイプラインでどの程度効果的か？

主な発見

• MILDNetは、マルチスケールモデルの3分の1のパラメータ数とモデルサイズで、Street-to-ShopデータセットにおいてSOTA性能を達成する。
• 現在のSOTAアプローチと比較して、学習時間と推論遅延をそれぞれ約3倍短縮する。
• 中間層を段階的に追加することでリtrieval性能が向上し、特に初期およびミドルレベルの特徴が最も顕著な向上をもたらす。
• 512次元埋め込みバージョンでは、精度がわずか2.1%低下するが、インデックス作成が高速化され、メモリ使用量も低減される。
• MobileNetベースのMILDNetバージョンでは、モデルサイズが12倍小さくなり（20 MB）、精度は5.4%低下するが、エッジデプロイが可能になる。
• 自動トリプレットデータ生成パイプラインにより、スケーラブルなインハウスの訓練データ作成が可能になり、手動アノテーションコストが削減される。