[論文レビュー] DISA at ImageCLEF 2014 Revised: Search-based Image Annotation with DeCAF Features

Petra Budíková, Jan Botorek+2 more|arXiv (Cornell University)|Sep 16, 2014

Image Retrieval and Classification Techniques参考文献 11被引用数 5

ひとこと要約

本論文では、視覚的類似性検索にDeCAF特徴量を用いた改善された検索ベースの画像アノテーションシステムを提示している。従来手法に比べて、アノテーションの正確性が顕著に向上しており、ImageCLEF 2014 Scalable Concept Image Annotationタスクにおいて、スケーラビリティと適応性に優れた優れた性能を示している。DeCAF特徴量と取得画像のメタデータの意味的分析を統合することで、全指標で10-20%の性能向上を達成している。

ABSTRACT

This paper constitutes an extension to the report on DISA-MU team participation in the ImageCLEF 2014 Scalable Concept Image Annotation Task as published in [3]. Specifically, we introduce a new similarity search component that was implemented into the system, report on the results achieved by utilizing this component, and analyze the influence of different similarity search parameters on the annotation quality.

研究の動機と目的

• 従来の視覚的記述子に代えてDeCAF特徴量を用いることで、検索ベースの画像アノテーションの性能を向上させること。
• 大規模かつ概念別スケーラブルな画像アノテーションにおける、DeCAFに基づく視覚的類似性の影響を評価すること。
• 意味的分析パイプラインの主要パラメータが最終的なアノテーション性能に与える影響を分析すること。
• 再トレーニングなしで、異なるデータセットや概念リストに適応できるようにすること。
• リアルタイムに近い、動的かつ概念セットに適応可能なスケーラブルなソリューションを提供すること。

提案手法

• 大規模な画像コレクションにおける視覚的類似性検索に、DeCAF畳み込みニューラルネットワーク特徴量を活用する。
• 20MのProfisetコレクションと500KのSCIAトレーニングセットの2つのデータセットから、視覚的に類似した上位k個の画像を取得する。
• 取得画像のテキストメタデータ（キーワード）を抽出し、単語をWordNetのシングレットにマッピングする。
• 意味的関係（上位関係、下位関係、部品関係、全体関係）を適用して、シングレットの関連性を拡張および重み付けする。
• 意味的グラフ構造と初期の単語頻度に基づいて、シングレットの関連性確率を計算する。
• 候補概念に関連する上位ランクのシングレットを最終的な画像アノテーションとして選択する。

実験結果

リサーチクエスチョン

• RQ1 従来の視覚的記述子をDeCAF特徴量に置き換えると、検索ベースの画像アノテーションにおける性能にどのような影響を与えるか？
• RQ2 アノテーション品質を最大化するための最適な類似性検索パラメータ設定（例：類似画像数、シングレット選択の閾値）は何か？
• RQ3 DeCAF特徴量と組み合わせた場合、異なる意味的関係（例：上位関係、下位関係）が最終的なアノテーション結果に与える影響は何か？
• RQ4 基準画像コレクションの選択（例：Profiset vs. SCIAトレーニングセット）が、システムの性能とパラメータチューニングに与える影響はどの程度か？
• RQ5 再トレーニングなしで、DeCAFベースのシステムはImageCLEF 2014 SCIAタスクにおいて、他のニューラルネットワークベースの手法を上回ることができるか？

主な発見

• DeCAFベースのシステムは、MPEG-7特徴量を用いた元のDISAシステムに比べ、全評価指標で10-20%の性能向上を達成した。
• 最高のパフォーマンスを示した設定では、1単語あたり7つの候補シングレットと、グラフ構築に100個の初期シングレットを使用した。
• WordNetの意味的関係（上位関係、下位関係、部品関係、全体関係）を組み込むことで、テストセットでのF1-macroスコアが61.1%に向上した。
• システムはほぼリアルタイムの性能を達成しており、1枚あたりのアノテーション平均時間は4〜5秒であった。
• 最適な初期シングレット数はデータセットによって異なった：Profiset 20Mでは100、Profiset 500Kおよび2Mでは150、SCIA 500Kでは200であった。
• DeCAFに基づく類似性検索により、より意味的に関連性の高い結果が得られ、ノイズが低減され、処理すべき初期シングレット数を減らすことで効率が向上した。