[논문 리뷰] Visual Concept Ontology for Image Annotations

Jan Botorek, Petra Budíková외 1명|arXiv (Cornell University)|2014. 11. 28.

Image Retrieval and Classification Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 검색 기반 이미지 주석 달기의 정확도를 향상시키기 위해 시각적 개념을 WordNet의 동의어 집합(synsets)에 매핑하는 의미적 지식 기반인 Visual Concept Ontology(VCO)를 소개한다. WordNet의 어휘적 구조와 자연어 처리 도구와의 호환성을 고려해, 자연, 사람, 물체, 추상 개념이라는 네 가지 슈퍼클래스로 구성된 사람이 읽을 수 있는 시각적 개념의 정제된 계층적 구조를 통합함으로써, 더 정확하고 의미적으로 일관된 이미지 주석 달이 가능해지고 평가를 위한 반자동으로 생성된 기준 데이터(ground truth)의 생성을 촉진한다.

ABSTRACT

In spite of the development of content-based data management, text-based searching remains the primary means of multimedia retrieval in many areas. Automatic creation of text metadata is thus a crucial tool for increasing the findability of multimedia objects. Search-based annotation tools try to provide content-descriptive keywords by exploiting web data, which are easily available but unstructured and noisy. Such data need to be analyzed with the help of semantic resources that provide knowledge about objects and relationships in a given domain. In this paper, we focus on the task of general-purpose image annotation and present the VCO, a new ontology of visual concepts developed as a part of image annotation framework. The ontology is linked with the WordNet lexical database, so the annotation tools can easily integrate information from both these resources.

연구 동기 및 목표

• 다중미디어 콘텐츠에서 낮은 품질이거나 누락된 텍스트 메타데이터 문제를 해결하여 효과적인 텍스트 기반 검색을 가능하게 한다.
• 기존의 일반 목적용 이미지 주석 달기용 온톨로지의 한계를 극복하며, 이는 너무 복잡하거나 핵심적인 의미 관계가 부족하기 때문이다.
• 자연어 처리 도구와 호환되는 도메인 특화의 의미적으로 풍부한 온톨로지로서, 이미지 내의 시각적 개념에 특화된 것을 개발한다.
• WordNet의 의미 지식을 정제된 인간이 읽을 수 있는 시각적 개념 계층과 통합하여 더 정확하고 확장 가능한 이미지 주석 달이를 가능하게 한다.
• 이미지 주석 달이 시스템 평가를 위한 표준화되고 고도로 품질이 높은 기준 데이터를 반자동으로 생성할 수 있도록 지원한다.

제안 방법

• WordNet의 명사 동의어 집합에서 시각적 콘텐츠에 관련된 개념을 추출하고 정제하여 VCO를 구축한다.
• 의미적 유사성과 인간의 해석 가능성에 기반해 자연, 사람, 물체, 추상 개념이라는 네 가지 최상위 수준의 슈퍼클래스로 구성된 계층적 분류 체계를 수립한다.
• 두 가지 유형의 관계를 설정한다: 클래스 간 관계(예: 하위/초기 클래스)와 클래스-개별 사례 간 관계(등가성 및 상위 클래스 관계를 통해 VCO 클래스를 WordNet 동의어 집합에 연결함).
• Kyoto 온톨로지의 접근 방식을 활용하여 동의어 집합-개념 매핑을 모델링함으로써 의미 정밀도를 확보하고 WordNet의 어휘적 구조와의 통합을 가능하게 한다.
• VCO의 구조를 활용해, 시각적으로 유사한 이미지에서의 메타데이터를 필터링하고 확장함으로써 검색 기반 주석 달이를 안내한다.
• VCO를 적용하여 이미지 컬렉션(예: Profiset)의 자유형 텍스트 주석을 표준화된 계층적 카테고리로 변환함으로써 기준 데이터 구축을 지원한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 웹 메타데이터를 사용한 검색 기반 이미지 주석 달이의 정확도와 일관성을 향상시키기 위해 의미 온톨로지가 어떻게 기여할 수 있는가?
• RQ2 의미의 풍부함, 인간의 이해 가능성, 계산적 사용성의 균형을 고려할 때 최적의 시각적 개념 온톨로지의 구조는 무엇인가?
• RQ3 수동 또는 커뮤니티 기반 방법에 비해 VCO는 이미지 주석 달이 평가를 위한 더 신뢰성 있고 확장 가능한 기준 데이터 생성을 얼마나 잘 지원할 수 있는가?
• RQ4 WordNet과 정제된 시각적 개념 계층을 통합함으로써 이미지 주석 달이에서 개념 간 연결의 모호성을 얼마나 줄일 수 있는가?
• RQ5 VCO는 사용자가 다양한 세분성 수준에서 이미지 콘텐츠를 탐색할 수 있도록 다층적이고 계층적인 주석 달이를 어떻게 지원할 수 있는가?

주요 결과

• VCO는 자연, 사람, 물체, 추상 개념이라는 네 가지 슈퍼클래스로 구성된 구조화되고 인간이 읽을 수 있는 시각적 개념의 계층적 구조를 제공함으로써, 이미지 주석 달이의 해석 가능성 향상에 기여한다.
• 등가성 및 상위 클래스 관계를 통해 VCO 클래스를 WordNet 동의어 집합에 연결함으로써, 어휘 자원과의 정밀한 의미 통합이 가능해진다.
• VCO는 사용자가 세부 수준의 다양성을 선택할 수 있도록 허용함으로써 계층적 이미지 주석 달이를 지원하여 사용성과 정밀도를 향상시킨다.
• 이 온톨로지는 반자동 기준 데이터 생성을 가능하게 하며, Profiset 데이터셋에 적용했을 때 자유형 텍스트 주석을 높은 일관성으로 표준화된 계층적 카테고리로 변환하였다.
• 비구조적이고 변동성이 큰 어휘 대신 고정된 의미 기반 어휘로 대체함으로써 평가 과정에서 수동 주석 달이 작업의 필요성을 줄였다.
• 최종적으로 생성된 온톨로지는 http://disa.fi.muni.cz/vco 에 공개되어 있으며, 이미지 주석 달이 및 검색 시스템에서의 재사용을 지원한다.