[論文レビュー] Deep Learning for Instance Retrieval: A Survey

Wei Chen, Yu Liu+6 more|arXiv (Cornell University)|Jan 27, 2021

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本サーベイは、深層学習に基づくインスタンス検索手法について包括的なレビューを提供し、深層特徴抽出、特徴埋め込みと集約、ネットワークのファインチューニング戦略の3つに分類している。主要なベンチマークを特定し、最先端の結果を評価するとともに、ドメインシフトに対する耐性、モバイルデプロイのための効率性、少数ショット学習、継続的学習、プライバシー保護、動画インスタンス検索といった重要な課題と今後の方向性を提示している。

ABSTRACT

In recent years a vast amount of visual content has been generated and shared from many fields, such as social media platforms, medical imaging, and robotics. This abundance of content creation and sharing has introduced new challenges, particularly that of searching databases for similar content-Content Based Image Retrieval (CBIR)-a long-established research area in which improved efficiency and accuracy are needed for real-time retrieval. Artificial intelligence has made progress in CBIR and has significantly facilitated the process of instance search. In this survey we review recent instance retrieval works that are developed based on deep learning algorithms and techniques, with the survey organized by deep network architecture types, deep features, feature embedding and aggregation methods, and network fine-tuning strategies. Our survey considers a wide variety of recent methods, whereby we identify milestone work, reveal connections among various methods and present the commonly used benchmarks, evaluation results, common challenges, and propose promising future directions.

研究の動機と目的

• 最近の深層学習手法によるインスタンス検索を体系的にレビューし、特徴抽出、埋め込み、集約、ファインチューニングに焦点を当てる。
• 分野におけるマイルストーンとなる研究を特定し、異なるアプローチ間の関係を明らかにする。
• 一般的に用いられるベンチマーク、評価指標、およびデータセットごとの最先端性能を要約する。
• クラス内変動、敵対的耐性、データ効率性といった継続的な課題を強調する。
• 継続的学習、プライバシーに配慮したシステム、動画インスタンス検索、効率的なモデル設計といった今後の研究方向性を提案する。

提案手法

• インスタンス検索手法を3つのコアコンponentsに分類する：深層特徴抽出、特徴埋め込みと集約、ネットワークのファインチューニング戦略。
• 画像からコンactかつ判別力のある表現を学ぶための深層畳み込みニューラルネットワーク（DCNN）の分析。
• 局所的特徴統合とデータオーグメンテーションを用いて、視点、照明、背景の変化に対する耐性を高める技術のサーベイ。
• 類似性を保った埋め込みを学ぶための手法のレビュー、特にメトリック学習とコントラスト損失に基づく学習。
• モバイルおよびエッジデバイスに適したコンactで効率的なモデルを構築するための知識蒸留、プルーニング、量子化の有効性の評価。
• 大規模なアノテート済みデータセットに依存しないようにするための自己教師あり学習および少数ショット学習技術の調査。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの手法は、SIFTのような従来手法と比較して、インスタンス検索性能をどのように向上させるか？
• RQ2 大規模なクラス内変動にさらされた状況下で、特徴の耐性を高めるために、どのようなアーキテクチャ的および学習戦略的アプローチが有効か？
• RQ3 深層学習モデルをリソース制約のあるデバイスに効率的かつ実用的にデプロイするにはどうすればよいか？
• RQ4 限られたまたはノイズの多いラベル付きデータからの学習における主な課題は何か。それらはどのように解決できるか？
• RQ5 現実世界の動的環境においてインスタンス検索を進歩させるために、どの今後の研究方向性が最も有望か？

主な発見

• 深層CNNはインスタンス検索の精度を著しく向上させたが、ドメインシフトや敵対的摂動に対して依然として感受性が強い。
• CUB-200-2011、Stanford Online Products、GLDv2といった既存のベンチマークでは、理想的な条件下で最先端のモデルが一部のデータセットでmAPスコア90％以上を達成している。
• 進展にもかかわらず、深層特徴は依然として視点、スケール、照明の変化に対して十分な不変性を欠いており、特にテクスチャが乏しいまたは反射的な物体では顕著である。
• 敵対的耐性は、深層ネットワークが目に見えない摂動に対して極めて脆弱であるにもかかわらず、インスタンス検索分野ではまだ十分に調査されていない。
• バイナリニューラルネットワークや知識蒸留によるコンパクトなモデルは、モバイルおよびウェアラブルデバイスへの効率的デプロイに有望である。
• 今後の研究では、継続的学習、プライバシーに配慮した設計、動画インスタンス検索を優先すべきであり、進化する現実世界のニーズに応えるべきである。