[논문 리뷰] Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging

Jiren Jin, Hideki Nakayama|arXiv (Cornell University)|2016. 04. 18.

Image Retrieval and Classification Techniques참고 문헌 33인용 수 20

한 줄 요약

이 논문은 RNN를 사용하여 이미지 태깅을 시퀀스 생성 문제로 재구성하는 순환 이미지 태거(Recurrent Image Annotator, RIA)를 제안한다. 이는 이미지 콘텐츠 기반으로 임의의 길이의 태그 예측을 가능하게 한다. 주요 기여는 훈련 중 태그 순서가 성능에 미치는 영향을 입증한 것으로, 특히 희귀 태그를 먼저 배치하는 순서가 다양한 데이터셋에서 가장 우수한 성능을 보였다.

ABSTRACT

Automatic image annotation has been an important research topic in facilitating large scale image management and retrieval. Existing methods focus on learning image-tag correlation or correlation between tags to improve annotation accuracy. However, most of these methods evaluate their performance using top-k retrieval performance, where k is fixed. Although such setting gives convenience for comparing different methods, it is not the natural way that humans annotate images. The number of annotated tags should depend on image contents. Inspired by the recent progress in machine translation and image captioning, we propose a novel Recurrent Image Annotator (RIA) model that forms image annotation task as a sequence generation problem so that RIA can natively predict the proper length of tags according to image contents. We evaluate the proposed model on various image annotation datasets. In addition to comparing our model with existing methods using the conventional top-k evaluation measures, we also provide our model as a high quality baseline for the arbitrary length image tagging task. Moreover, the results of our experiments show that the order of tags in training phase has a great impact on the final annotation performance.

연구 동기 및 목표

• 고정된 길이의 상위-k 평가 방식이 실제 인간의 태깅 행동을 반영하지 못하는 한계를 해결하기 위해.
• 이미지 콘텐츠 기반으로 가변 길이의 태그 시퀀스를 자연스럽게 예측할 수 있는 새로운 시퀀스 생성 접근법을 제안하기 위해.
• 훈련 중 태그 시퀀스 순서가 시퀀스 기반 이미지 태깅 모델의 성능에 미치는 영향을 조사하기 위해.
• 새로운 임의의 길이의 이미지 태깅 작업을 위한 고품질의 베이스라인을 수립하기 위해.

제안 방법

• CNN으로 임bed된 이미지 특징에 조건부한 순환 신경망(RNN)을 사용하여 이미지 태깅을 시퀀스 생성 문제로 공식화한다.
• 이미지 수준의 특징(feat. 7 층)을 입력으로 사용하기 위해 사전 학습된 CNN(GoogLeNet)을 사용하여 특징을 추출한다.
• 은닉 상태 컨텍스트를 활용하여 자동회귀 예측 방식으로 하나씩 태그를 생성하는 RNN 디코더를 적용한다.
• 훈련 시 태그 순서 전략으로 사전순, 무작위, 빈도 우선, 희귀 우선 순서를 탐색하여 모델 일반화에 미치는 영향을 평가한다.
• 태그 분류층에 드롭아웃(0.5)을 적용하고, 엔드 투 엔드 훈련을 위해 교차 엔트로피 손실을 사용한다.
• 표준 평가 지표(Precision, Recall, F1)를 사용하여 성능을 평가하고, 개별 클래스 성능 평가를 위한 새로운 N+ 스코어를 도입한다.

실험 결과

연구 질문

• RQ1 훈련 중 태그 시퀀스 순서의 선택이 시퀀스 기반 이미지 태깅 모델의 성능에 어떤 영향을 미치는가?
• RQ2 순환 모델이 다양한 이미지의 의미적 풍부성을 반영하는 가변 길이의 태그 시퀀스를 효과적으로 생성할 수 있는가?
• RQ3 제안된 RIA 모델은 상위-5 및 임의의 길이 태깅 설정 모두에서 최신 기술 대비 경쟁 가능한 성능을 달성하는가?
• RQ4 특정 태그 순서 전략이 일관되게 모델 일반화 및 개별 클래스 성능을 향상시키는가?

주요 결과

• IAPR TC12 및 ESP Game 데이터셋에서 모든 평가 지표(Precision, Recall, F1)에서 희귀 태그 우선 순서 전략이 다른 모든 순서 전략보다 뛰어난 성능을 보였다.
• 희귀 태그 우선 순서로 훈련한 모델는 수렴 속도가 빠르며, 특히 희귀 태그의 개별 클래스 Recall 성능이 유의미하게 높았다.
• 빈도 우선 순서는 특히 Recall 및 F1 성능에서 떨어지며, 예측이 쉬운 빈도 높은 태그에 과도하게 집중함으로써 희귀 태그 예측 성능이 저하되는 경향을 보였다.
• RIA 모델는 메트릭 학습이나 수작업으로 설계된 특징을 사용하지 않고도 깊이 있는 특징만으로 최신 기술 수준의 상위-5 성능을 달성했다.
• 모델은 GPU에서 1장의 이미지당 5ms 내외로 실행되어 KNN 기반 베이스라인 대비 높은 추론 효율성을 보였다.
• 이 연구는 태그 시퀀스 순서가 시퀀스 기반 이미지 태깅에서 중요한 하이퍼파라미터임을 확인하였으며, 모델 성능에 상당한 영향을 미친다.