[論文レビュー] Do They All Look the Same? Deciphering Chinese, Japanese and Koreans by Fine-Grained Deep Learning

Yu Wang, Haofu Liao+3 more|arXiv (Cornell University)|Oct 6, 2016

Face recognition and analysis参考文献 17被引用数 11

ひとこと要約

本論文は、39,883枚のTwitter由来ラベル付き画像を用いて、中国、日本、韓国の顔を細分化された深層学習アプローチで分類することを提案し、75.03%の正確度を達成した。これは偶然（33.33%）および人間の性能（38.89%）を著しく上回っている。さらに、中国人に見られる濃い眉、日本人に見られる頻繁な笑顔、韓国人に見られる黒髪といった特徴的な顔貌的特徴を同定し、国境を越えた性別パターンの解明にも成功した。

ABSTRACT

We study to what extend Chinese, Japanese and Korean faces can be classified and which facial attributes offer the most important cues. First, we propose a novel way of obtaining large numbers of facial images with nationality labels. Then we train state-of-the-art neural networks with these labeled images. We are able to achieve an accuracy of 75.03% in the classification task, with chances being 33.33% and human accuracy 38.89% . Further, we train multiple facial attribute classifiers to identify the most distinctive features for each group. We find that Chinese, Japanese and Koreans do exhibit substantial differences in certain attributes, such as bangs, smiling, and bushy eyebrows. Along the way, we uncover several gender-related cross-country patterns as well. Our work, which complements existing APIs such as Microsoft Cognitive Services and Face++, could find potential applications in tourism, e-commerce, social media marketing, criminal justice and even counter-terrorism.

研究の動機と目的

• 中国、日本、韓国人の顔がみな同じに見えるという広く信じられている考えに挑戦し、顔の分類正確度を実証的に検証すること。
• 検証済みの国籍を有するTwitterユーザーのプロフィール画像を収集し、39,883枚の顔画像からなる大規模なデータセットを収集・ラベリングすること。
• 中国、日本、韓国人の個人を細分化して区別するための最も特徴的な顔貌的特徴を同定すること。
• 東アジア諸国の顔貌的特徴における性別関連パターンを調査すること。

提案手法

• アジアの有名人のTwitterフォロワーからプロフィール画像を収集し、国籍ラベルが付与されたバランスの取れた39,883枚の顔画像データセットを構築した。
• エンドツーエンドの顔の国籍分類を目的として、最先端の深層ニューラルネットワーク（VGGおよびResNet）を微調整した。
• CelebAデータセットを用いて、40の顔貌的特徴それぞれについて別個の深層ニューラルネットワークを訓練し、細分化された特徴分析を可能にした。
• 顔検出にはOpenCVを用い、属性固有の分類器を適用して、国籍間の差を分析した。
• 統計的分析を実施し、男性および女性の両グループにおいて、中国、日本、韓国の人々の間で特徴の出現頻度を比較した。
• 標準的な指標を用いてモデルの性能を評価し、偶然および人間のベースライン性能と比較した。

実験結果

リサーチクエスチョン

• RQ1 中国、日本、韓国の顔を深層学習を用いて信頼性高く分類できるか。また、人間の認識と比べて性能はどうなるか。
• RQ2 中国、日本、韓国人を区別するための最も特徴的な顔貌的特徴は何か。
• RQ3 中国、日本、韓国人の間で一貫した性別関連の顔貌的差が存在するか。また、国籍によってその差はどのように変化するか。
• RQ4 社会的または文化的規範が、東アジア諸国の顔貌的特徴の分布にどの程度影響を与えているか。

主な発見

• 提案された深層学習モデルは、75.03%の分類正確度を達成し、これは偶然（33.33%）および人間の性能（38.89%）を著しく上回った。
• 日本人は最も頻繁に笑顔をしていた一方、中国人は最も笑顔が少なかった。
• 中国人に、3つの国籍の中で最も顕著な濃い眉の頻度が見られた。
• 韓国人は黒髪の割合が最も高く、一方で日本人は黒髪の割合が最も低かった。
• 目元の袋（アイバッグ）は、男性および女性の両グループで、日本人に最も多く見られ、次に韓国人、その後中国であった。
• 全3カ国における男性は女性に比べて眼鏡をかける確率が2倍高く、職業的または社会的ストレス要因と関連している可能性が示唆された。