[논문 리뷰] Families In Wild Multimedia (FIW-MM): A Multi-Modal Database for Recognizing Kinship

Joseph P. Robinson, Zaid Khan외 3명|arXiv (Cornell University)|2020. 07. 28.

Face recognition and analysis참고 문헌 45인용 수 9

한 줄 요약

이 논문은 영상, 음성, 텍스트 캡션을 포함하는 다중 모odal 가족 관계 인식 데이터셋인 FIW-MM을 소개한다. 최소한의 인간 입력으로 데이터 수집 및 주석을 자동화함으로써, FIW-MM은 벤치마크 전반에서 가족 관계 인식 성능을 크게 향상시키며, 더 현실적인 다중 모달 시스템 개발을 가능하게 하고 다학제적 협업을 촉진한다.

ABSTRACT

Kinship, a soft biometric detectable in media, is fundamental for a myriad of use-cases. Despite the difficulty of detecting kinship, annual data challenges using still-images have consistently improved performances and attracted new researchers. Now, systems reach performance levels unforeseeable a decade ago, closing in on performances acceptable to deploy in practice. Similar to other biometric tasks, we expect systems can benefit from additional modalities. We hypothesize that adding modalities to FIW, which contains only still-images, will improve performance. Thus, to narrow the gap between research and reality and enhance the power of kinship recognition systems, we extend FIW with multimedia (MM) data (i.e., video, audio, and text captions). Specifically, we introduce the first publicly available multi-task MM kinship dataset. To build FIW MM, we developed machinery to automatically collect, annotate, and prepare the data, requiring minimal human input and no financial cost. The proposed MM corpus allows the problem statements to be more realistic template-based protocols. We show significant improvements in all benchmarks with the added modalities. The results highlight edge cases to inspire future research with different areas of improvement. FIW MM provides the data required to increase the potential of automated systems to detect kinship in MM. It also allows experts from diverse fields to collaborate in novel ways.

연구 동기 및 목표

• 정적 이미지 기반 가족 관계 인식 연구의 진전과 실제 적용 간 격차를 해소하기 위해 다중 모달을 통합하고자 한다.
• 기존의 FIW 데이터셋을 확장하기 위해, 스케일이 가능하고 저비용이며 자동화된 다중 모달 데이터 수집 및 주석 처리 파이프라인을 개발하고자 한다.
• 실제 적용에 더 부합하고 강력한 벤치마크 프로토콜을 지원하는 공개 가능한 다중 작업 다중 모달 가족 관계 데이터셋을 구축하고자 한다.
• 다양한 분야의 연구자들이 더 풍부한 다중 모달 데이터를 통해 자동화된 가족 관계 인식 기술을 공동으로 발전시킬 수 있도록 하고자 한다.
• 정적 이미지 기반 가족 관계 인식에 모달을 추가하면 시스템 성능이 크게 향상됨을 입증하고자 한다.

제안 방법

• 최소한의 인간 간섭으로 공개된 자료원에서 영상, 음성, 텍스트 캡션 등의 다중 모달 데이터를 수집하기 위한 자동화된 기계 장치를 개발했다.
• 웹 스크래핑과 메타데이터 추출을 통합하여 기존의 FIW 정적 이미지 가족과 다중 모달 콘텐츠를 정렬하는 데이터 수집 파이프라인을 구현했다.
• 기존의 FIW 데이터셋에서 유래한 가족 관계 레이블을 새로운 다중 모달 인스턴스에 자동으로 정렬함으로써 주석 처리 과정을 최소화했다.
• 결과적으로 FIW-MM 데이터셋은 가족 구성원들에 대해 동기화된 영상, 음성, 텍스트 기반 설명을 포함하며, 가족 관계를 유지한다.
• 다중 작업 학습과 다중 모달 가족 관계 인식 시스템의 현실적인 평가를 지원하기 위해 템플릿 기반 프로토콜을 설계했다.
• 대규모 다중 모달 데이터셋 제작 시 데이터 품질과 일관성을 유지하면서도 스케일성과 비용 효율성을 확보하는 프레임워크를 구현했다.

실험 결과

연구 질문

• RQ1 정적 이미지 기반 가족 관계 인식에 영상, 음성, 텍스트 모달을 통합하면 시스템 성능이 크게 향상되는가?
• RQ2 정적 이미지 기반 단모달 기준 대비 다중 모달 접근 방식이 정확도와 내성 면에서 어떻게 비교되는가?
• RQ3 다중 모달 데이터를 가족 관계 인식에 사용할 때 나타나는 주요 에지 케이스와 실패 유형은 무엇인가?
• RQ4 자동화된 데이터 수집 및 주석 처리 파이프라인을 통해 고품질의 확장 가능한 다중 모달 데이터셋을 얼마나 잘 생성할 수 있는가?
• RQ5 FIW-MM과 같은 다중 모달 가족 관계 데이터셋은 다양한 학술 및 기술 분야 간 새로운 협업 연구를 어떻게 가능하게 하는가?

주요 결과

• FIW 데이터셋에 다중 모달을 추가함으로써, 모든 벤치마크에서 성능 향상이 뚜렷하게 발생한다.
• 템플릿 기반 다중 작업 학습 시나리오를 지원함으로써, FIW-MM은 더 현실적인 평가 프로토콜을 가능하게 한다.
• 제안된 자동화된 파이프라인은 최소한의 인간 입력과 재정적 비용 없이 대규모 다중 모달 데이터를 성공적으로 수집 및 준비한다.
• 이 데이터셋은 다중 모달 가족 관계 인식 분야의 향후 연구를 위한 새로운 에지 케이스와 실패 패tern을 드러낸다.
• FIW-MM은 컴퓨터 비전, 자연어 처리, 음성 분석 분야 간 협업 연구의 기반을 제공한다.
• 결과적으로 다중 모달 시스템이 단모달 정적 이미지 시스템보다 뛰어나며, 자동화된 가족 관계 인식 기술이 실제 적용에 더 가까워지고 있음을 입증한다.