[論文レビュー] OpenFilter: A Framework to Democratize Research Access to Social Media AR Filters

Piera Riccio, Bill Psomas+4 more|arXiv (Cornell University)|Jul 19, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本論文では、OpenFilterと呼ばれるフレームワークを紹介している。このフレームワークにより、研究者がFairFace や LFW といった公開顔認識データセットに、特にビューティフィルターを含むソーシャルメディアのARフィルターを適用できるようになる。著者たちはAndroidエミュレーションを用いてリアルタイムのフィルター適用をシミュレートし、FairBeauty および B-LFW データセットを構築した。その結果、ビューティフィルターは顔の外見を均質化するが、最先端の顔認識モデルにおいても十分に識別性を維持していることが示された。

ABSTRACT

Augmented Reality or AR filters on selfies have become very popular on social media platforms for a variety of applications, including marketing, entertainment and aesthetics. Given the wide adoption of AR face filters and the importance of faces in our social structures and relations, there is increased interest by the scientific community to analyze the impact of such filters from a psychological, artistic and sociological perspective. However, there are few quantitative analyses in this area mainly due to a lack of publicly available datasets of facial images with applied AR filters. The proprietary, close nature of most social media platforms does not allow users, scientists and practitioners to access the code and the details of the available AR face filters. Scraping faces from these platforms to collect data is ethically unacceptable and should, therefore, be avoided in research. In this paper, we present OpenFilter, a flexible framework to apply AR filters available in social media platforms on existing large collections of human faces. Moreover, we share FairBeauty and B-LFW, two beautified versions of the publicly available FairFace and LFW datasets and we outline insights derived from the analysis of these beautified datasets.

研究の動機と目的

• 定量的研究に適したARフィルターを施した顔画像を含む公開データセットの不足に対処すること。
• ソーシャルメディアプラットフォームからのデータスクラップィングに代わる、スケーラブルで倫理的な代替手法を提供すること。
• 心理学、社会学、コンピュータビジョンを含む、さまざまな分野の研究者にARフィルターへのアクセスを民主化すること。
• ビューティフィルターが顔の識別性および認識性能に与える技術的・社会学的影響を調査すること。
• FairFace および LFW の美化版としてのFairBeauty および B-LFW を作成・公開し、フィルターの影響に関する再現可能な研究を可能にすること。

提案手法

• Androidエミュレータを用いて、Instagram などのソーシャルメディアアプリを実行し、公開データセットの静的画像にリアルタイムのARフィルターを適用する。
• データセットの画像をアプリのカメラ入力に投影することで、リアルタイムのARフィルター適用をトリガーする。
• 大規模な顔認識データセットに対してフィルターを自動的に適用し、画像メタデータおよび解像度を保持する。
• FairFace データセットにビューティフィルターを適用してFairBeauty を作成し、LFW に適用してB-LFW を作成する。
• 最先端の顔認識モデルを用いて、フィルター処理済みデータセットと元のデータセットの性能を評価する。
• 実際のソーシャルメディア利用状況を反映させるために、複数のフィルターを異なる画像に適用するシナリオをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 ビューティフィルターは、最先端の顔認識モデルにおける顔の識別性保持にどのように影響するか？
• RQ2 ARフィルターは、多様なデモグラフィックグループにわたって顔の外見をどの程度均質化するか？
• RQ3 データセットに複数の共存するフィルターが適用されている場合、それは現実のソーシャルメディア利用パターンをどの程度反映しているか？
• RQ4 フィルター誘発の美的基準化がもたらす技術的および社会学的含意は何か？
• RQ5 解像度および画像品質は、肌のなめらかさのようなARフィルター効果の可視性および影響にどのように影響するか？

主な発見

• ビューティフィルターは、多様なデモグラフィックグループにわたって顔の外見を顕著に均質化し、FairBeauty データセットにおける視覚的ばらつきを低減した。
• 均質化が進んでも、最先端の顔認識モデルはB-LFW データセットにおいて高い性能を維持しており、フィルター適用下でも識別性が大きく損なわれていないことが示された。
• B-LFW における顔認識モデルの性能は最小限の低下にとどまり、ビューティフィルターが外見を向上させつつも、識別性認識を損なわないことが示唆された。
• フレームワークOpenFilterは、実際のソーシャルメディアARフィルターを公開データセットに再現可能かつ倫理的に適用可能にし、データスクラップィングの限界を克服した。
• OpenFilterにおける512x512ピクセルの解像度制限は、肌のなめらかさのような微細なフィルター効果の可視性を低下させる可能性があり、生態的妥当性に影響を及ぼす可能性がある。
• 今後の研究では、元の画像の類似度に応じたフィルター均質化の変動、特に年齢、性別、人種の観点から調査する必要がある。