[논문 리뷰] Tagging like Humans: Diverse and Distinct Image Annotation

Baoyuan Wu, Weidong Chen외 4명|arXiv (Cornell University)|2018. 03. 31.

Image Retrieval and Classification Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 결정성 점 프로세스(DPPs)를 활용해 의미적 차별성을 확보하고, 무작위 노이즈 변형을 통해 서브셋 간 다양성을 확보함으로써 다양한 고유한 이미지 태그를 생성하는 생성적 적대적 모델인 D2IA-GAN을 제안한다. 인간 태그 데이터로 훈련된 D2IA-GAN은 정량적 평가 지표와 인간 평가 모두에서 최신 기법들을 능가하며, 더 포괄적이고 인간과 유사한 이미지 설명을 더 적은 중복성으로 생성한다.

ABSTRACT

In this work we propose a new automatic image annotation model, dubbed {\bf diverse and distinct image annotation} (D2IA). The generative model D2IA is inspired by the ensemble of human annotations, which create semantically relevant, yet distinct and diverse tags. In D2IA, we generate a relevant and distinct tag subset, in which the tags are relevant to the image contents and semantically distinct to each other, using sequential sampling from a determinantal point process (DPP) model. Multiple such tag subsets that cover diverse semantic aspects or diverse semantic levels of the image contents are generated by randomly perturbing the DPP sampling process. We leverage a generative adversarial network (GAN) model to train D2IA. Extensive experiments including quantitative and qualitative comparisons, as well as human subject studies, on two benchmark datasets demonstrate that the proposed model can produce more diverse and distinct tags than the state-of-the-arts.

연구 동기 및 목표

• 기존 방법이 반복적이며 의미적으로 유사한 태그를 생성하는 바탕으로, 자동 이미지 태깅에서의 다양성과 차별성 부족 문제를 해결하기 위해.
• 다양한 의미 수준과 이미지 측면을 모두 다루는 의미적으로 구별되는 태그 집합을 인간 태거들이 어떻게 생성하는지 모델링하기 위해.
• 각각 다른 의미적 측면을 반영하는 다수의 고유한 태그 서브셋을 생성할 수 있는 생성 모델을 개발하기 위해.
• 비미분 가능 DPP 샘플링 단계를 처리하기 위해 정책 기반 강화 학습 최적화를 사용하는 GAN 프레임워크 내에서 모델을 훈련하기 위해.
• 정량적 지표와 인간 대상 실험을 통해 태그 품질과 다양성의 우수성을 검증하기 위해.

제안 방법

• 모델은 이미지 특징과 무작위 노이즈 벡터를 기반으로 후행 분포를 추정하는 딥 네트워크를 사용하여 후보 태그 집합에 대한 확률 분포를 생성한다.
• 태그 후행 분포에 결정성 점 프로세스(DPP) 모델을 적용하여 순차적 샘플링을 통해 의미적으로 구별되는 태그 시퀀스를 생성한다.
• 다양한 무작위 노이즈 벡터를 사용해 DPP를 샘플링하여 다수의 고유한 태그 서브셋을 생성함으로써 다양한 의미적 측면을 포괄한다.
• 생성기 모델은 GAN 프레임워크 내에서 훈련되며, 실제 인간 태그 서브셋과 생성된 태그 서브셋을 구별하는 판별기 모델이 존재한다.
• DPP 샘플링 과정이 비미분 가능하므로 정책 기반 강화 학습 방법을 사용해 생성기를 최적화한다.
• 모델은 IAPRTC-12 및 ESP Game을 포함한 대규모 인간 태깅 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 인간 태거들을 모방하여 의미적으로 구별되면서도 여러 서브셋 간에 다양성을 확보하는 이미지 태그를 생성할 수 있는가?
• RQ2 노이즈 변형 샘플링과 통합된 DPP의 통합이 기준 기법 대비 태그의 다양성과 구별성 향상에 어떤 영향을 미치는가?
• RQ3 인간 평가를 통해 검증되었을 때, D2IA-GAN 모델이 최신 기법 대비 더 인간다운 태그 집합을 얼마나 잘 생성하는가?
• RQ4 F1-sp 지표가 태그 서브셋 품질에 대한 인간 선호도를 예측하는 데 얼마나 신뢰할 수 있는가?
• RQ5 의미 계층 모델링이 생성된 태그의 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• ESP Game 데이터셋에서 D2IA-GAN은 3개 태그 이미지의 64%와 5개 태그 이미지의 62.96%에서 인간 평가에서 DIA를 능가했다.
• F1-sp 평가에서 D2IA-GAN은 3개 태그 이미지의 66.67%와 5개 태그 이미지의 65.43%에서 DIA를 앞섰으며, 인간 판단과의 높은 일관성을 보였다.
• ESP Game에서 인간 평가와 F1-sp 평가 간 일치도는 63.73%에 달했으며, 이는 자동 평가 지표의 신뢰성을 시사한다.
• IAPRTC-12에서 3개 태그 서브셋에 대해 인간 평가와 F1-sp 평가 간 일치도는 69.01%였고, 5개 태그 서브셋에선 57.52%였다.
• DIA 대비 더 포괄적이고 인간다운 태그 집합을 생성했으며, 의미적 중복성이 감소하고 이미지 의미의 커버리지가 향상되었다.
• 보조 분석을 통해 D2IA-GAN이 다층적 의미 기술(예: '교회' 대비 '건물')을 더 잘 포착하고 있으며, 인간 태거들과 유사하게 다양한 이미지 요소에 집중함을 확인했다.