[論文レビュー] Visual Concept Ontology for Image Annotations

Jan Botorek, Petra Budíková+1 more|arXiv (Cornell University)|Nov 28, 2014

Image Retrieval and Classification Techniques参考文献 10被引用数 5

ひとこと要約

本稿では、視覚的概念をWordNetのsynsetにマッピングすることで、検索ベースの画像アノテーションの精度を向上させるための意味的知識ベース、Visual Concept Ontology (VCO) を提案する。WordNetの語彙的構造と、自然な解釈が可能な、4つのスーパークラス（自然、人物、物体、抽象的概念）に分類された手作業で整備された視覚的概念の階層的構造を統合することにより、より正確で意味的に整合性のある画像アノテーションが可能となり、評価のための半自動的グランド・トゥルース生成を促進する。

ABSTRACT

In spite of the development of content-based data management, text-based searching remains the primary means of multimedia retrieval in many areas. Automatic creation of text metadata is thus a crucial tool for increasing the findability of multimedia objects. Search-based annotation tools try to provide content-descriptive keywords by exploiting web data, which are easily available but unstructured and noisy. Such data need to be analyzed with the help of semantic resources that provide knowledge about objects and relationships in a given domain. In this paper, we focus on the task of general-purpose image annotation and present the VCO, a new ontology of visual concepts developed as a part of image annotation framework. The ontology is linked with the WordNet lexical database, so the annotation tools can easily integrate information from both these resources.

研究の動機と目的

• マルチメディアコンテンツにおける低品質または欠落したテキストメタデータの課題に対処し、効果的なテキストベースの検索を妨げる要因を解消すること。
• 一般的な画像アノテーション向けに既存のオントロジーが抱える限界（複雑さや重要な意味的関係の欠如）を克服すること。
• 自然言語処理ツールと互換性を持つ、ドメイン特化型で意味的に豊富な、視覚的概念に特化したオントロジーを構築すること。
• WordNetからの意味的知識と、構造的かつ人間が読みやすい視覚的概念の階層を統合することで、より正確でスケーラブルな画像アノテーションを実現すること。
• 画像アノテーションシステムの評価のための標準的で高品質なグランド・トゥルースを、半自動的に構築することを支援すること。

提案手法

• 画像コンテンツに関連する語彙的意味集合（noun synsets）から抽出・精錬した視覚的概念を基に、VCOを構築する。
• 意味的類似性と人間の解釈可能性に基づき、4つのトップレベルのスーパークラス（自然、人物、物体、抽象的概念）に分類して、VCOを階層的分類体系に整列させる。
• 2種類の関係を確立する：クラス同士の関係（例：下位／上位クラス）と、クラスと個体の関係（VCOクラスをWordNetのsynsetに等価関係（equivalenceOf）および上位クラス関係（superClassOf）でリンク）。
• キotoのオントロジーの手法を採用して、synsetから概念へのマッピングをモデル化し、意味的正確性を確保するとともに、WordNetの語彙的構造との統合を可能にする。
• VCOの構造を活用して、視覚的に類似した画像からのメタデータをフィルタリングおよび拡張することで、検索ベースのアノテーションを支援する。
• VCOを用いて、画像コレクション（例：Profiset）からの自由記述のアノテーションを、標準化された階層的カテゴリに変換し、グランド・トゥルースの構築を支援する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いWebメタデータを用いた検索ベースの画像アノテーションにおいて、意味的オントロジーが精度と一貫性をどのように向上させ得るか？
• RQ2 意味的豊かさ、人間の解釈可能性、計算上の使いやすさのバランスを取る最適な視覚的概念オントロジーの構造は何か？
• RQ3 手作業またはクラウドソーシング手法と比較して、VCOは画像アノテーション評価のためのより信頼性が高くスケーラブルなグランド・トゥルース構築を可能にするか？
• RQ4 WordNetと手作業で整備された視覚的概念の階層を統合することで、画像アノテーションにおける曖昧さの低減と概念のリンク精度がどの程度向上するか？
• RQ5 VCOは、ユーザーが画像コンテンツをさまざまな粒度で探索できる階層的・多段階のアノテーションをどのように支援するか？

主な発見

• VCOは、自然、人物、物体、抽象的概念という4つのスーパークラスに分類された、構造的かつ人間が読みやすい視覚的概念の階層的構造を提供し、画像アノテーションにおける解釈可能性を向上させる。
• equivalenceOfおよびsuperClassOf関係を通じてVCOクラスをWordNetのsynsetにリンクさせることで、語彙的リソースとの正確な意味的統合が可能になる。
• VCOは、ユーザーが詳細の異なるレベルでアノテーションを選択できる階層的画像アノテーションを支援し、使いやすさと正確性の両方を向上させる。
• VCOは半自動的グランド・トゥルース構築を可能にする：Profisetデータセットに適用した結果、自由記述のアノテーションが高一貫性を保った標準化された階層的カテゴリに変換された。
• VCOにより、評価における手作業のアノテーション作業が削減され、固定された意味的基盤を持つ語彙に、非構造的かつ多様な語彙の代わりに置き換えることができる。
• 得られたオントロジーは公開されており、http://disa.fi.muni.cz/vco で入手可能であり、画像アノテーションおよび検索システムにおける再利用を支援する。