[논문 리뷰] Server, server in the cloud. Who is the fairest in the crowd?

Marc Böhlen, Varun Chandola외 1명|arXiv (Cornell University)|2017. 11. 23.

Evolutionary Psychology and Human Behavior인용 수 3

한 줄 요약

이 논문은 셀레바 데이터셋을 사용하여 합성곱 신경망(CNNs)이 얼굴의 매력을 어떻게 분류하는지 조사하며, 알고리즘적 편향이 훈련 데이터뿐 아니라 아키텍처적 선택에도 기인한다는 것을 드러낸다. 높은 정확도로 특징을 탐지하지만, 주관적이고 다차원적인 인간의 판단 때문에 일관된 매력 평가 레이블링에 어려움을 겪으며, 이는 인공지능 기반 미적 평가 시스템에서 체계적인 오류를 드러낸다.

ABSTRACT

This paper follows the recent history of automated beauty competitions to discuss how machine learning techniques, in particular neural networks, alter the way attractiveness is handled and how this impacts the cultural landscape. We describe experiments performed to probe the behavior of two different convolutional neural network architectures in the classification of facial attractiveness in a large database of celebrity faces. As opposed to other easily definable facial features, attractiveness is difficult to detect robustly even for the best classification systems. Based on the observations from these experiments, we discuss several approaches to detect factors that come into play when a machine evaluates human features, and how bias can occur not only in data selection but in network architectures; in multiple forms on multiple levels throughout the process. The overall goal is to map out with mixed methods a novel condition: slippages produced by platform level machine learning systems that make judgements in domains considered dependent on high level human intelligence.

연구 동기 및 목표

• 대규모 데이터셋에서 기계학습 모델, 특히 CNN이 얼굴의 매력을 어떻게 평가하는지 분석하는 것.
• 데이터 선택 외에도 아키텍처 설계와 같은 요소가 알고리즘적 미적 판단 편향의 원인이 되는지 조사하는 것.
• 플랫폼 수준의 AI 시스템이 고수준의 인간 지능 판단을 내릴 때 발생하는 '슬립페지'—체계적인 일관성 없는 현상—를 규명하는 것.
• 주관적인 인간 개념인 '매력'이 신경망에 의해 측정 가능한 특징으로 어떻게 변환되는지 이해하는 것.
• 자동화된 미적 평가의 알고리즘적 공정성과 사회적 기준에 대한 영향을 평가하는 것.

제안 방법

• 셀레바 데이터셋(20만 개의 셀럽 얼굴 사진과 40개의 이진 속성, 포함: '매력적')을 사용해 두 가지 다른 CNN 아키텍처를 훈련시켰다.
• 이미지넷 사전 훈련된 가중치로 모델을 초기화하여 특징 추출과 수렴을 향상시키기 위해 전이 학습을 적용했다.
• 셀레바 데이터를 활용해 매력도 분류라는 구체적인 작업에 맞게 모델을 미세 조정했다.
• 모델 성능 평가를 위해 혼동 행렬을 구성했으며, 특히 매력도 예측에서의 오진 양성 및 음성 사례를 분석했다.
• 얼굴 속성 간 공존 패턴을 분석해 '매력적'이라는 레이블이 특정 특징과 일관되게 연결되는지 평가했다.
• 모델 예측을 해석하고 매력도 판단에 영향을 주는 핵심 특징을 파악하기 위해 의사결정 트리를 사용했다.

실험 결과

연구 질문

• RQ1 다양한 CNN 아키텍처가 대규모이고 다양한 데이터셋에서 얼굴의 매력을 분류하는 데 어떻게 성능을 내는가?
• RQ2 매력도 분류에서의 편향이 데이터 선택보다 아키텍처 설계에 기인하는 정도는 어느 정도인가?
• RQ3 매력이라는 개념이 주관적이고 다차원적인 성격을 지닌 바에 있어 기계학습 모델에 신뢰성 있게 표현될 수 있는가?
• RQ4 공존하는 얼굴 특징이 알고리즘적 매력도 판단에 어떤 역할을 하는가?
• RQ5 모델 예측이 인간의 예술적 판단을 알고리즘 규칙으로 번역하는 데서 발생하는 일관성 없는 현상이나 슬립페지가 어떻게 반영되는가?

주요 결과

• 모델들은 개별 얼굴 특징 탐지에 높은 정확도를 보였지만, '매력적'으로 분류하는 데서 일관성이 결여되어 있어 레이블 자체에 내재된 모호성의 여파로 보인다.
• '매력적'이라는 속성이 특정 얼굴 특징과 강한 공존 패턴을 보이지 않아, 인간 평가자가 복잡하고 일관되지 않은 기준을 적용하고 있음을 시사한다.
• 혼동 행렬 분석 결과, 심각한 오분류가 발생함을 확인했으며, 실제로 매력적인 얼굴가 오히려 비매력적이라고 예측하는 경우가 많았고, 반대로도 마찬가지였으며, 이는 모델의 불안정성을 드러낸다.
• 의사결정 트리 분석 결과, 매력도 예측은 '웃는 얼굴', '젊은 나이', '연한 피부', '수염 없음' 등의 특징 조합에 의해 영향을 받지만, 단일 특징이 지배적인 것은 아니었다.
• 연구 결과, 아키텍처적 선택과 데이터 표현 방식이 공정성과 일관성에 상당한 영향을 미치는 것으로 나타났으며, 이는 데이터가 다양하더라도 마찬가지였다.
• 결과적으로 알고리즘 기반의 미적 평가가 편향된 데이터의 반영을 넘어서, 아키텍처적 설계 선택까지 영향을 받아 체계적인 슬립페지가 발생함을 입증했다.