[論文レビュー] Image similarity using Deep CNN and Curriculum Learning

Srikar Appalaraju, Vineet Chaoji|arXiv (Cornell University)|Sep 26, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 61

ひとこと要約

論文は、 curriculum learning に着想を得たオンラインペアマイニングとマルチスケール埋め込みを用いた深層シアミーズネットワーク SimNet を画像類似性に適用し、従来の CNN より細かな類似性をより良く捉える。

ABSTRACT

Image similarity involves fetching similar looking images given a reference image. Our solution called SimNet, is a deep siamese network which is trained on pairs of positive and negative images using a novel online pair mining strategy inspired by Curriculum learning. We also created a multi-scale CNN, where the final image embedding is a joint representation of top as well as lower layer embedding's. We go on to show that this multi-scale siamese network is better at capturing fine grained image similarities than traditional CNN's.

研究の動機と目的

• 参考画像を基準に視覚的に類似した画像を見つけるタスクを動機づける。
• siamese アーキテクチャを用いた深層学習ソリューション（SimNet）をポジティブ/ネガティブペア訓練のために開発する。
• カリキュラム学習に着想を得たオンラインペアマイニング戦略を導入し、情報量の多い訓練ペアを選択する。
• トップ層と下位層の埋め込みを融合させた多段階CNNを組み込み、よりリッチな画像表現を得る。

提案手法

• 深いシアミーズネットワーク（SimNet）をポジティブ/ネガティブ画像ペアで訓練する。
• 訓練中に情報量の多いペアを選択するため、Curriculum Learning に着想を得たオンラインペアマイニング戦略を適用する。
• 最終埋め込みをトップ層と下層層の埋め込みの結合表現とする多段階CNNを設計する。
• マルチスケールシアミーズ埋め込みを、画像類似性タスクの従来のCNNベース埋め込みと比較する。

実験結果

リサーチクエスチョン

• RQ1 SimNet はシアミーズアーキテクチャを用いて視覚的に類似した画像を検索する際にどれほど有効か？
• RQ2 Curriculum Learning によってガイドされるオンラインペアマイニングは、訓練効率とモデル性能を改善するか？
• RQ3 マルチスケールCNNでトップ層と下層の埋め込みを組み合わせると、標準CNNの埋め込みより細かな類似性をより良く得られるか？

主な発見

• マルチスケールのシアミーズネットワークは、従来のCNNより細かな画像類似性をよりよく捉える。
• Curriculum Learning によって導かれるオンラインペアマイニングは、情報量の多い画像ペアでシアミーズネットを訓練するのに用いられる。
• 提案されたアプローチは、複数のCNN層からの埋め込みの融合を強調して、類似性判断を改善する。