[논문 리뷰] Face2Text: Collecting an Annotated Image Description Corpus for the Generation of Rich Face Descriptions

Albert Gatt, Marc Tanti외 7명|arXiv (Cornell University)|2018. 03. 10.

Multimodal Machine Learning Applications참고 문헌 26인용 수 17

한 줄 요약

이 논문은 실제 환경에서 수집한 얼굴 이미지에 대한 풍부하고 인간이 수작업한 텍스트 기술서를 담은 대규모 커뮤니티 기반 코퍼스인 Face2Text를 제시한다. 연구 결과, 기술서는 일반적으로 물리적, 정서적, 추론적 특성을 혼합하는 경향이 있는데, 이는 구체적인 시각적 특징에 집중하는 기존의 이미지-텍스트 모델이 도전받고 있음을 시사한다. 이는 세밀한 맥락 인식 얼굴 기술서 생성 분야에서 최신 기술 수준을 향한 도약을 이룬다.

ABSTRACT

The past few years have witnessed renewed interest in NLP tasks at the interface between vision and language. One intensively-studied problem is that of automatically generating text from images. In this paper, we extend this problem to the more specific domain of face description. Unlike scene descriptions, face descriptions are more fine-grained and rely on attributes extracted from the image, rather than objects and relations. Given that no data exists for this task, we present an ongoing crowdsourcing study to collect a corpus of descriptions of face images taken `in the wild'. To gain a better understanding of the variation we find in face description and the possible issues that this may raise, we also conducted an annotation study on a subset of the corpus. Primarily, we found descriptions to refer to a mixture of attributes, not only physical, but also emotional and inferential, which is bound to create further challenges for current image-to-text methods.

연구 동기 및 목표

• 실제 환경에서 수집된 얼굴 이미지에 대한 인간이 생성한 텍스트 기술서로 구성된 대규모이며 다양한 코퍼스를 구축하기 위해.
• 특히 물리적, 정서적, 추론적 특성의 혼합이 이루어지는 인간의 얼굴 기술서의 의미론적 및 문법적 복잡성을 조사하기 위해.
• 추론 및 정서와 같은 미세한 특성 정의에 어려움이 있는 경우를 고려해, 기술서 카테고리에 대한 평가자 간 일致도를 평가하고 문제점을 규명하기 위해.
• 향후 자동 얼굴 기술서 생성 연구를 지원하기 위해, 고급 자연어 생성(NLG) 모델의 훈련 및 평가를 위한 데이터 기반을 제공하기 위해.
• 데이터 증강 기법과 세밀한 의미 주석을 탐색하여, 얼굴 기술서 작업에서 모델의 해석 가능성과 성능을 향상시키기 위해.

제안 방법

• 비전문가 평가자로부터 실제 환경의 얼굴 이미지에 대한 자유형 텍스트 기술서를 수집하기 위해 커뮤니티 기반 연구를 수행하였다.
• 기술서의 의미적 내용을 분류하기 위해 다섯 가지 카테고리(물리적, 정서적, 추론적, 사회적, 기타)의 주석 체계를 설계하였다.
• 특히 '추론'과 같은 모호한 카테고리의 신뢰도를 평가하기 위해 Fleiss의 카파를 사용한 평가자 간 일치도 연구를 수행하였다.
• 배경이 기술서의 주목도와 스타일에 미치는 영향을 탐색하기 위해 평가자로부터 인구통계학적 및 맥락적 메타데이터를 수집하였다.
• 웹 검색을 이용해 유사한 이미지를 찾고, 주변 콘텐츠에서 일치하는 텍스트 기술서를 추출하는 방식으로 반자동 데이터 증강을 탐색하였다.
• 향후 기술서의 세밀한 주석을 통해 특정 특성(예: 털색, 정서, 민족성 등)을 태그하여 모델 훈련 및 평가의 정밀도를 향상시키기 위한 계획을 수립하였다.

실험 결과

연구 질문

• RQ1 실제 환경에서 얼굴 이미지를 기술할 때 인간은 어떤 종류의 특성(물리적, 정서적, 추론적)을 일반적으로 포함하는가?
• RQ2 특히 '추론'과 같은 모호한 카테고리의 경우, 인간 평가자가 기술서의 의미 카테고리를 분류하는 데 얼마나 신뢰할 수 있는가?
• RQ3 연령, 성별, 문화적 배경 등의 인구통계적 요소가 얼굴 기술서에서 언급되는 특성의 주목도와 유형에 어떤 영향을 미치는가?
• RQ4 기존의 이미지-기본 기술서 쌍을 어떻게 활용하여 웹 기반 이미지 검색 및 주변 텍스트 마이닝을 통해 데이터셋을 증강할 수 있는가?
• RQ5 기술서에 비시각적 요소, 추론적 요소 또는 정서적 요소가 포함될 경우, 자동 얼굴 기술서 시스템을 훈련시키는 데 발생하는 주요 과제는 무엇인가?

주요 결과

• 코퍼스 내 기술서의 대부분은 물리적 특성을 포함하지만, 상당 부분이 정서적 및 추론적 요소를 포함하고 있어 의미론적 복잡성이 높음을 시사한다.
• 물리적 및 정서적 카테고리의 경우 평가자 간 일치도는 중간에서 높았지만, '추론' 카테고리의 경우 낮아 명확한 정의와 훈련이 필요함을 시사한다.
• 모든 카테고리에 대한 평균 Fleiss의 카파는 0.45였으며, 범위는 -0.19에서 0.88까지였다. 한 개의 이상치를 제거한 후 평균은 0.60으로 상승하여 개선 후에는 수용 가능한 신뢰도를 확보함을 나타낸다.
• 코퍼스는 실제 인간의 기술서 관행을 반영한 다양한 문법적 및 의미론적 다양성을 포괄하고 있으며, 단순한 물체 레이블링을 넘는다.
• 정서적 및 추론적 특성—예를 들어 '_serious', 'regretful', 또는 'defending herself'—이 자주 언급되며, 이는 기술서에서 정서적 및 맥락적 해석의 중요성을 강조한다.
• 반자동 웹 마이닝을 통해 데이터셋의 규모와 다양성을 증가시키기 위한 확장 작업을 진행 중이며, 향후 세밀한 의미 주석 태깅을 적용하여 더 정밀한 평가 및 모델 훈련을 가능하게 할 계획이다.