[論文レビュー] Server, server in the cloud. Who is the fairest in the crowd?

Marc Böhlen, Varun Chandola+1 more|arXiv (Cornell University)|Nov 23, 2017

Evolutionary Psychology and Human Behavior被引用数 3

ひとこと要約

この論文は、CelebAデータセットを用いて畳み込みニューラルネットワーク（CNNs）が顔の魅力をどのように分類するかを調査し、アルゴリズム的バイアスが訓練データだけでなく、アーキテクチャの選択からも生じることを明らかにした。高精度に特徴を検出できるものの、主観的で多次元的な人間の判断とは対照的に、魅力のラベル付けが一貫しないことから、AI駆動の美的評価システムにおける構造的なずれが露呈された。

ABSTRACT

This paper follows the recent history of automated beauty competitions to discuss how machine learning techniques, in particular neural networks, alter the way attractiveness is handled and how this impacts the cultural landscape. We describe experiments performed to probe the behavior of two different convolutional neural network architectures in the classification of facial attractiveness in a large database of celebrity faces. As opposed to other easily definable facial features, attractiveness is difficult to detect robustly even for the best classification systems. Based on the observations from these experiments, we discuss several approaches to detect factors that come into play when a machine evaluates human features, and how bias can occur not only in data selection but in network architectures; in multiple forms on multiple levels throughout the process. The overall goal is to map out with mixed methods a novel condition: slippages produced by platform level machine learning systems that make judgements in domains considered dependent on high level human intelligence.

研究の動機と目的

• 大規模なデータセットにおいて、機械学習モデル、特にCNNが顔の魅力をどのように評価するかを分析すること。
• データ選択を超えて、アーキテクチャ設計を含む、アルゴリズム的美的判断のバイアスの源を調査すること。
• プラットフォームレベルのAIシステムが高レベルの人間の知的判断を行う際の、システム的不整合（「スリッピージング」）を特定すること。
• 主観的な人間の概念、たとえば「魅力的」というものがあらゆる測定可能な特徴にどのように変換されるかを理解すること。
• 自動美的評価の結果がアルゴリズム的公平性と社会的規範に与える影響を評価すること。

提案手法

• CelebAデータセット（20万枚の有名人の顔画像に40個のバイナリ属性が付与されたもの）を用い、2種類の異なるCNNアーキテクチャを訓練した。
• ImageNetで事前学習された重みで初期化することで、特徴抽出と収束の改善を図った。
• CelebAデータを用いて、魅力分類という特定のタスクに適応させるためにファインチューニングを適用した。
• モデルのパフォーマンスを評価するために、誤分類（偽陽性・偽陰性）に注目した混同行列を構築した。
• 顔の属性の共起パターンを分析し、『魅力的』というラベルが特定の特徴と一貫して関連しているかを評価した。
• モデルの予測を解釈するために決定木を用い、魅力的と判断する要因となっている特徴を同定した。

実験結果

リサーチクエスチョン

• RQ1 異なるCNNアーキテクチャは、大規模で多様なデータセット上で顔の魅力を分類する際に、どのように性能を発揮するか？
• RQ2 魅力分類におけるバイアスは、データ選択と比較して、アーキテクチャ設計に起因する程度はどの程度か？
• RQ3 魅力的という概念は、主観的で多次元的であるにもかかわらず、機械学習モデルに信頼性を持ってエンコード可能か？
• RQ4 共起する顔の特徴が、アルゴリズム的魅力的判断に果たす役割は何か？
• RQ5 モデルの予測は、人間の美的判断をアルゴリズム的ルールに変換する過程での不整合やスリッピージングをどのように反映しているか？

主な発見

• モデルは個々の顔の特徴を高精度に検出できたが、『魅力的』とされる顔の分類が一貫しなかった。これは、ラベル自体に本質的な曖昧さがあることを示唆している。
• 『魅力的』という属性は、特定の顔の特徴と強く共起しなかった。これは、人間の評価者が複雑で一貫性のない基準を適用している可能性を示している。
• 混同行列の分析から、顕著な誤分類が確認された。魅力的であるはずの顔が「魅力的でない」と予測され、逆にそうでない顔が「魅力的」と予測されたケースが多発しており、モデルの不安定性が浮き彫りになった。
• 決定木の分析から、魅力的と判断する要因は『笑顔』『若々しさ』『白い肌』『ヒゲなし』といった複数の特徴の組み合わせに依存しており、特定の1つの特徴が支配的ではなかった。
• 研究では、アーキテクチャの選択とデータ表現が、データが多様であっても公平性と一貫性に顕著な影響を与えることが判明した。
• 結果として、アルゴリズム的美的評価は、偏ったデータの反映にとどまらず、構造的設計の選択によっても形作られ、判断における体系的なスリッピージングを引き起こすことが示された。