[論文レビュー] Deep Hashing Learning for Visual and Semantic Retrieval of Remote Sensing Images

Weiwei Song, Shutao Li+1 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 5

ひとこと要約

本論文は、リモートセンシング画像の同時視覚的・意味的検索を実現する統合的深層ハッシング畳み込みニューラルネットワーク（DHCNN）を提案する。一貫したエンドツーエンドフレームワーク内に、コン act なバイナリコードを生成するハッシュ層と、意味的分類を可能にするソフトマックス付き全結合層を統合することで、検索精度（mAP）と分類精度（OA）の両面で最先端の性能を達成した。UCMDおよびAIDデータセットでは、それぞれ97.68%および93.48%の精度を達成した。

ABSTRACT

Driven by the urgent demand for managing remote sensing big data, large-scale remote sensing image retrieval (RSIR) attracts increasing attention in the remote sensing field. In general, existing retrieval methods can be regarded as visual-based retrieval approaches which search and return a set of similar images from a database to a given query image. Although retrieval methods have achieved great success, there is still a question that needs to be responded to: Can we obtain the accurate semantic labels of the returned similar images to further help analyzing and processing imagery? Inspired by the above question, in this paper, we redefine the image retrieval problem as visual and semantic retrieval of images. Specifically, we propose a novel deep hashing convolutional neural network (DHCNN) to simultaneously retrieve the similar images and classify their semantic labels in a unified framework. In more detail, a convolutional neural network (CNN) is used to extract high-dimensional deep features. Then, a hash layer is perfectly inserted into the network to transfer the deep features into compact hash codes. In addition, a fully connected layer with a softmax function is performed on hash layer to generate class distribution. Finally, a loss function is elaborately designed to simultaneously consider the label loss of each image and similarity loss of pairs of images. Experimental results on two remote sensing datasets demonstrate that the proposed method achieves the state-of-art retrieval and classification performance.

研究の動機と目的

• 既存のリモートセンシング画像検索手法が、意味的ラベルを伴わない類似画像を返すという限界を是正すること。
• 視覚的検索と意味的分類を統合的なディープラーニングフレームワークに統合し、分析的有用性を向上させること。
• 画像類似度と意味的ラベルの正確性を同時に最適化する損失関数を設計すること。
• 高次元の意味的理解を保持したまま、コンパクトなバイナリハッシュコードを用いた効率的でリアルタイムな検索を可能とすること。

提案手法

• 生のリモートセンシング画像から高次元の深層特徴を抽出するために、事前学習済みのCNNを用いる。
• 効率的な検索を実現するため、ネットワーク内にハッシュ層を挿入し、深層特徴を低次元のバイナリハッシュコードにマッピングする。
• 意味的分類のためのクラス分布を予測するために、ハッシュ層の上流にソフトマックス活性化関数を備えた全結合層を追加する。
• 意味的ラベル損失とペairワイズ画像類似度損失の両方を同時に最小化するための複合損失関数を設計する。
• ラベルの監視と類似度の保持の両方をバランスよく組み合わせた、エンドツーエンドの学習を実施する。
• ハッシュコードのコンパクト性と、意味的制約と類似度制約のトレードオフを制御するため、ハイパーパrameter β と η を調整する。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、同時に視覚的に類似したリモートセンシング画像の検索とその意味的ラベルの分類を実現できるか？
• RQ2 ハッシュコードは、画像間の類似度と画像内での意味的正確性の両方を保持できるように効果的に学習可能か？
• RQ3 統合的検索・分類ネットワークにおける、意味的分類損失と画像類似度損失の最適なバランスは何か？
• RQ4 ハイパーパrameter β と η は、提案されたDHCNNの検索および分類性能にどのように影響を与えるか？

主な発見

• 提案されたDHCNNは、UCMDデータセットで97.68%の平均平均精度（mAP）を達成し、既存の最先端手法を上回った。
• AIDデータセットでは93.48%の分類精度を達成し、強力な意味的分類能力を示した。
• β の最適値は25であり、性能を劣化させることなくコンパクトなハッシュコードを保証した。
• η の最適値は0.2であり、意味的損失と類似度損失のバランスの取れたトレードオフが最良の結果をもたらすことを示した。
• CaffeNet、GoogLeNet、VGG-VD16といったベースラインモデルに比べ、検索および分類の両タスクで顕著に優れた性能を示した。
• アブレーションスタディの結果、意味的損失と類似度損失の両方を組み合わせた場合が、単独で使用する場合よりも優れた性能を発揮することが確認された。