[論文レビュー] Video retrieval based on deep convolutional neural network

Yj Dong, JG Li|arXiv (Cornell University)|Dec 1, 2017

Human Pose and Action Recognition参考文献 1被引用数 3

ひとこと要約

この論文は、効率的な類似性検索を実現するため、深層畳み込みニューラルネットワーク（CNN）とバイナリーハッシュ関数を組み合わせたエンドツーエンドのディープラーニングフレームワークを提案する。三重項損失と分類損失を統合することで、ハイレベルな意味的特徴とコン act なバイナリーコードを学習し、2つの公開データセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Recently, with the enormous growth of online videos, fast video retrieval research has received increasing attention. As an extension of image hashing techniques, traditional video hashing methods mainly depend on hand-crafted features and transform the real-valued features into binary hash codes. As videos provide far more diverse and complex visual information than images, extracting features from videos is much more challenging than that from images. Therefore, high-level semantic features to represent videos are needed rather than low-level hand-crafted methods. In this paper, a deep convolutional neural network is proposed to extract high-level semantic features and a binary hash function is then integrated into this framework to achieve an end-to-end optimization. Particularly, our approach also combines triplet loss function which preserves the relative similarity and difference of videos and classification loss function as the optimization objective. Experiments have been performed on two public datasets and the results demonstrate the superiority of our proposed method compared with other state-of-the-art video retrieval methods.

研究の動機と目的

• 増加する動画データの状況において、効率的かつ正確な動画検索を実現すること。
• 手作業で特徴を抽出する従来の動画ハッシング手法が抱える限界、特に意味的理解の欠如を克服すること。
• 深層ニューラルネットワークを用いて動画からハイレベルな意味的表現を学習すること。
• 特徴学習とバイナリーハッシングのエンドツーエンド最適化を可能にし、検索性能を向上させること。
• 三重項損失と分類損失を用いることで、動画検索における類似性の保存を強化すること。

提案手法

• 深層畳み込みニューラルネットワークを用いて、動画フレームからハイレベルな意味的特徴を抽出する。
• ネットワークにバイナリーハッシュ関数を統合し、動画特徴のコン act で効率的な表現を実現する。
• 三重項損失と分類損失を組み合わせた損失関数を用いて、エンドツーエンドで訓練する。
• 三重項損失は、アーカイブ、ポジティブ、ネガティブのサンプルを比較することで、動画間の相対的な類似性と非類似性を保持する。
• 分類損失は、トレーニング中に正しい動画ラベルを割り当てることで、特徴の判別性を高める。
• 特徴抽出とハッシュコード生成を同時に最適化することで、検索精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習を用いたディープCNNは、従来の手作業特徴抽出手法に比べ、動画検索性能を向上させることができるか？
• RQ2 三重項損失と分類損失の組み合わせは、動画データ内の意味的関係をどれほど効果的に保存できるか？
• RQ3 学習済み特徴を用いたバイナリーハッシングは、検索の効率性と正確性をどの程度向上させるか？
• RQ4 提案手法は、ベンチマークデータセットにおいて、既存の最先端の動画検索技術を上回るか？
• RQ5 本手法は、動画コンテンツや複雑さの変動に対してどれほど頑健か？

主な発見

• 提案手法は、2つの公開データセットにおいて、最先端の動画検索手法を上回る優れた検索性能を達成した。
• 三重項損失と分類損失の統合により、モデルの動画間の意味的類似性の保持能力が顕著に向上した。
• ディープCNNとバイナリーハッシュ関数のエンドツーエンド訓練により、より判別性が高くコン act な動画表現が得られた。
• 学習済みバイナリーコードのおかげで、一般化性能と効率性に優れ、高速な類似性検索が可能となった。
• ベンチマークデータセットにおける定量的評価結果から、平均平均精度と検索正確性の観点で、本フレームワークの有効性が確認された。
• 深層的意味的特徴と共同最適化を活用することで、従来のハッシングベースのアプローチを上回る性能を発揮した。