[논문 리뷰] GeneAnnotator: A Semi-automatic Annotation Tool for Visual Scene Graph

Zhixuan Zhang, Chi Zhang외 3명|arXiv (Cornell University)|2021. 09. 06.

Multimodal Machine Learning Applications참고 문헌 8인용 수 6

한 줄 요약

GeneAnnotator는 규칙 기반 관계 추천 기능을 통해 효율적이고 커스터마이징 가능하며 상호작용이 가능한 이미지 내 객체, 관계, 속성, 영역 및 클러스터의 시각적 색상 그래프 애너테이션을 지원하는 반자동, 오픈소스 파이썬 도구이다. 이는 Traffic Genome이라는 고밀도의 1,000장의 교통 시나리오 색상 그래프 데이터셋을 구축하는 데 사용되었으며, Visual Genome 및 VG150에 비해 더 뛰어난 속성 커버리지와 관계 밀도를 확보하였다.

ABSTRACT

In this manuscript, we introduce a semi-automatic scene graph annotation tool for images, the GeneAnnotator. This software allows human annotators to describe the existing relationships between participators in the visual scene in the form of directed graphs, hence enabling the learning and reasoning on visual relationships, e.g., image captioning, VQA and scene graph generation, etc. The annotations for certain image datasets could either be merged in a single VG150 data-format file to support most existing models for scene graph learning or transformed into a separated annotation file for each single image to build customized datasets. Moreover, GeneAnnotator provides a rule-based relationship recommending algorithm to reduce the heavy annotation workload. With GeneAnnotator, we propose Traffic Genome, a comprehensive scene graph dataset with 1000 diverse traffic images, which in return validates the effectiveness of the proposed software for scene graph annotation. The project source code, with usage examples and sample data is available at https://github.com/Milomilo0320/A-Semi-automatic-Annotation-Software-for-Scene-Graph, under the Apache open-source license.

연구 동기 및 목표

• 시각적 관계 이해를 위한 접근 가능하고 커스터마이징 가능하며 효율적인 색상 그래프 애너테이션 도구의 부족을 해결한다.
• 반자동 관계 추천 기능을 통해 색상 그래프 생성 과정에서의 수동 애너테이션 부담을 줄인다.
• 자율주행과 같은 특정 도메인에 맞게 맞춤형으로 고품질의 색상 그래프 데이터셋을 구축할 수 있도록 한다.
• 다양한 데이터 포맷을 지원하고 기존 색상 그래프 학습 모델과의 통합을 가능하게 하는 모듈러하고 확장 가능한 소프트웨어 아키텍처를 제공한다.
• Traffic Genome이라는 종합적이고 오픈소스의 교통 시나리오 이해를 위한 데이터셋을 구축함으로써 도구의 효과성을 입증한다.

제안 방법

• 메인 애너테이션, 반자동 애너테이션, 보조 기능 모듈로 구성된 세 개의 독립적 컴포onent을 갖춘 모듈러 시스템 아키텍처를 구현한다.
• 사용자가 정의한 객체 및 관계 카테고리, 계층 구조, 속성을 지원하여 도메인 특화 커스터마이징을 가능하게 한다.
• 객체 유형과 공간 구성에 기반해 타당한 관계를 제안하는 규칙 기반 관계 추천 엔진을 통합한다.
• 경계 상자 기반의 영역 및 근접한 객체 집합인 클러스터를 애너테이션할 수 있도록 하여 애너테이션 효율성과 의미적 관련성을 향상시킨다.
• GUI를 통해 실시간으로 변화하는 색상 그래프를 시각화하여 즉각적인 피드백과 검증을 가능하게 한다.
• 기존 색상 그래프 모델과의 광범위한 호환성을 확보하기 위해 통합된 VG150 호환 형식과 이미지별 형식 모두에서 애너테이션을 내보낸다.

실험 결과

연구 질문

• RQ1 반자동 애너테이션 도구가 고품질의 시각적 색상 그래프를 구축하는 데 소요되는 시간과 노력을 크게 줄일 수 있는가?
• RQ2 관심 영역 및 클러스터 수준의 애너테이션 포함이 애너테이션 효율성과 색상 그래프 품질을 어떻게 향상시키는가?
• RQ3 규칙 기반 관계 추천 기능이 인간 애너테이터의 관계 수준에서 정확도와 관련성 면에서 어느 정도 수준에 도달하는가?
• RQ4 생성된 데이터셋(Traffic Genome)이 Visual Genome 및 VG150와 같은 기존 벤치마크와 비교해 객체 및 관계 밀도, 속성 커버리지, 구조적 완전성 측면에서 어떻게 다른가?
• RQ5 생성된 데이터셋이 최신 기술 수준의 색상 그래프 생성 모델의 훈련 및 평가를 효과적으로 지원할 수 있는가?

주요 결과

• Traffic Genome은 1,000장의 이미지에 걸쳐 총 29,192개의 관계를 포함하고 있으며, 평균 1장당 29.19개의 관계를 기록하여 Visual Genome(14.17개) 및 VG150(5.76개)의 평균을 초월한다.
• Traffic Genome에서 객체 1개당 평균 관계 수는 3.02개로, Visual Genome의 1.36개 및 VG150의 2.02개보다 뚜렷하게 높아 훨씬 더 밀도 높은 색상 그래프 구조를 나타낸다.
• Traffic Genome의 43.85%의 관계가 공간적 관계(예: '왼쪽에 있음')이며, 42.04%는 영역 기반 관계(예: '도로에서 주행 중')로, 강력한 공간 인식 커버리지가 확인된다.
• Traffic Genome은 방향 속성(앞, 왼쪽, 오른쪽, 뒤)을 포함해 100%의 속성 커버리지를 달성했으며, 이는 Visual Genome의 58.65% 및 VG150의 53.66%를 뛰어넘는다.
• Traffic Genome으로 미세조정된 색상 그래프 모델은 경쟁력 있는 예측 성능을 보였으며, VCTree의 mR@100 점수는 최대 24.85점, VCTree-TDE는 20.87점으로 VG150에서의 성능을 도달하거나 초월했다.
• GeneAnnotator의 반자동 기능과 모듈러 설계 덕분에 효율적이고 확장 가능하며 확장 가능한 애너테이션 환경이 가능했으며, 이는 고품질의 도메인 특화 데이터셋 제작을 통해 검증되었다.