[논문 리뷰] OpenFilter: A Framework to Democratize Research Access to Social Media AR Filters

Piera Riccio, Bill Psomas외 4명|arXiv (Cornell University)|2022. 07. 19.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 FairFace 및 LFW와 같은 공공 얼굴 데이터셋에 사회적 미디어 AR 필터—특히 뷰티 필터—를 적용할 수 있도록 해주는 OpenFilter라는 프레임워크를 소개한다. 저자들은 안드로이드 에뮬레이션을 통해 실시간 필터 적용을 시뮬레이션함으로써 FairBeauty 및 B-LFW 데이터셋을 구축하였으며, 뷰티 필터가 얼굴 외형을 균일화하지만 상태의 최신 얼굴 인식 모델에서 성능을 유지할 정도로 정체성을 잘 보존한다는 것을 입증하였다.

ABSTRACT

Augmented Reality or AR filters on selfies have become very popular on social media platforms for a variety of applications, including marketing, entertainment and aesthetics. Given the wide adoption of AR face filters and the importance of faces in our social structures and relations, there is increased interest by the scientific community to analyze the impact of such filters from a psychological, artistic and sociological perspective. However, there are few quantitative analyses in this area mainly due to a lack of publicly available datasets of facial images with applied AR filters. The proprietary, close nature of most social media platforms does not allow users, scientists and practitioners to access the code and the details of the available AR face filters. Scraping faces from these platforms to collect data is ethically unacceptable and should, therefore, be avoided in research. In this paper, we present OpenFilter, a flexible framework to apply AR filters available in social media platforms on existing large collections of human faces. Moreover, we share FairBeauty and B-LFW, two beautified versions of the publicly available FairFace and LFW datasets and we outline insights derived from the analysis of these beautified datasets.

연구 동기 및 목표

• 정량적 연구를 위한 AR 필터가 적용된 얼굴 이미지가 포함된 공개 데이터셋의 부족을 해결하기 위해.
• 소셜 미디어 플랫폼에서의 데이터 스크래핑에 대한 윤리적이고 확장 가능한 대안을 제공하기 위해.
• 심리학, 사회학, 컴퓨터 시각 분야의 연구자들에게 AR 필터에 대한 접근성을 극대화하기 위해.
• 뷰티 필터가 얼굴 정체성과 인식 성능에 미치는 기술적 및 사회학적 영향을 조사하기 위해.
• FairFace 및 LFW의 미화된 버전인 FairBeauty 및 B-LFW를 제작하고 공개함으로써, 필터 영향에 대한 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• 공공 데이터셋의 정적 이미지에 AR 필터를 적용하기 위해 안드로이드 에뮬레이터를 사용하여 소셜 미디어 앱(예: 인스타그램)을 실행하는 방식.
• 데이터셋 이미지를 앱의 카메라 피드에 투영하여 실시간 AR 필터 적용을 유도하는 방식.
• 이미지 메타데이터와 해상도를 유지하면서 대규모 얼굴 데이터셋에 필터를 자동으로 적용하는 방식.
• FairFace 데이터셋에 뷰티 필터를 적용하여 FairBeauty를 만들고, LFW에 적용하여 B-LFW를 제작하는 방식.
• 최신 상태의 얼굴 인식 모델을 사용하여 필터 적용된 데이터셋과 원본 데이터셋 간의 성능을 평가하는 방식.
• 실제 소셜 미디어 환경을 시뮬레이션하기 위해 다양한 이미지에 여러 필터를 적용함으로써 실생활에서의 필터 공존 패턴을 반영하는 방식.

실험 결과

연구 질문

• RQ1 뷰티 필터는 최신 상태의 얼굴 인식 모델에서 얼굴 정체성 유지에 어떻게 영향을 미치는가?
• RQ2 AR 필터는 다양한 인구 집단 간 얼굴 외형을 어느 정도 균일화하는가?
• RQ3 데이터셋에 여러 개의 동시에 존재하는 필터를 적용하는 것은 실생활 소셜 미디어 사용 패턴을 어떻게 반영하는가?
• RQ4 필터 유도적 미학 표준화의 기술적 및 사회학적 함의는 무엇인가?
• RQ5 해상도와 이미지 품질은 스킨 스무딩과 같은 AR 필터 효과의 가시성과 영향력에 어떻게 영향을 미치는가?

주요 결과

• 뷰티 필터는 다양한 인구 집단 간 얼굴 외형을 크게 균일화하여 FairBeauty 데이터셋의 시각적 다양성을 감소시킨다.
• 균일화가 이루어졌음에도 불구하고, 최신 상태의 얼굴 인식 모델은 B-LFW 데이터셋에서 높은 성능을 유지하며, 필터 적용 시 정체성이 대부분 유지된다는 것을 시사한다.
• B-LFW에서 얼굴 인식 모델의 성능 저하가 최소한이므로, 뷰티 필터는 외형을 향상시키지만 정체성 인식을 방해하지 않는다는 것을 시사한다.
• 프레임워크인 OpenFilter는 데이터 스크래핑의 한계를 극복하고 윤리적이고 재현 가능한 방식으로 실제 소셜 미디어 AR 필터를 공공 데이터셋에 적용할 수 있도록 한다.
• OpenFilter의 해상도 제한(512x512 픽셀)은 피부 스무딩과 같은 세밀한 필터 효과의 가시성을 감소시켜 생태학적 타당성에 영향을 줄 수 있다.
• 향후 연구에서는 원본 이미지의 유사도에 따라 필터 균일화가 어떻게 달라지는지, 특히 연령, 성별, 인종 간의 차이를 중심으로 탐구할 필요가 있다.