[논문 리뷰] A Century of Portraits: A Visual Historical Record of American High School Yearbooks

Shiry Ginosar, Kate Rakelly외 5명|arXiv (Cornell University)|2015. 11. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 19

한 줄 요약

이 논문은 1900~2000년 사이의 미국 고등학교 졸업기념사진 168,055장을 포함하는 대규모 데이터셋을 소개하고, 패션, 머리감촉, 사회적 관습의 역사적 시각적 추세를 약한 지도 학습 기반 딥러닝으로 탐지한다. 미세조정된 CNN을 사용하여 여성의 경우 중앙 오차가 4년, 남성의 경우 6년에 도달하며, 새로운 샐리언시 방법을 통해 특정 시대의 특징(예: 헤어스타일, 안경)을 시각화한다.

ABSTRACT

Imagery offers a rich description of our world and communicates a volume and type of information that cannot be captured by text alone. Since the invention of the camera, an ever-increasing number of photographs document our "visual culture" complementing historical texts. But currently, this treasure trove of knowledge can only be analyzed manually by historians, and only at small scale. In this paper we perform automated analysis on a large-scale historical image dataset. Our main contributions are: 1) A publicly-available dataset of 168,055 (37,921 frontal-facing) American high school yearbook portraits. 2) Weakly-supervised data-driven techniques to discover historical visual trends in fashion and identify date-specific visual patterns. 3) A classifier to predict when a portrait was taken, with median error of 4 years for women and 6 for men. 4) A new method for discovering and displaying the visual elements used by the CNN-based date-prediction model to date portraits, finding that they correspond to the tell-tale fashions of each era. Project page can be found at: http://people.eecs.berkeley.edu/~shiry/projects/yearbooks/yearbooks.html .

연구 동기 및 목표

• 20세기 동안의 역사적 졸업기념사진을 포함하는 대규모 공개 데이터셋을 구축하여 시각적 역사 분석의 기초 자료로 활용하는 것.
• 표준화된 인물 사진에서 패션, 머리감촉, 사회적 관습의 시각적 추세를 자동으로 탐지할 수 있는 데이터 기반 기법을 개발하는 것.
• 단일 얼굴 이미지의 시각적 정보만을 사용하여 졸업기념사진 촬영 연도를 고정밀도로 예측할 수 있는 CNN 기반 분류기 학습.
• 특정 시각적 요소(예: 머리카락, 메이크업, 안경 등)가 연도 예측에 어떤 영향을 미치는지 식별함으로써, 예측 결과가 역사적 트렌드와 일치하는지 확인하는 모델 의사결정 해석.

제안 방법

• 저자들은 20세기 동안 미국 고등학교에서 촬영된 총 168,055장의 졸업기념사진(중요한 37,921장은 정면 각도)을 수집하고 정제하였다.
• 약한 지도 학습을 적용하여 시간에 따른 시각적 패턴(예: 미소 빈도, 머리 길이, 안경 사용 빈도 등)을 탐지하고, 역사적 사건과 기술 발전과의 상관관계를 분석하였다.
• 단일 졸업기념사진 이미지에서 촬영 연도를 예측하기 위해 컨volutional 신경망(CNN)을 학습시켰으며, 여성의 경우 중앙 오차 4년, 남성의 경우 6년을 기록하였다.
• CNN이 연도 예측에 사용한 특징 영역을 시각화하기 위한 새로운 방법을 개발하였으며, 선택적 유닛 활성화와 공간 샐리언시 맵핑 기반이다.
• 네트워크의 특정 특징 맵을 비활성화하면서도 예측 신뢰도를 유지함으로써, 1960년대의 번스, 1980년대의 컬 등 특정 시대의 시각적 신호를 정확히 국소화할 수 있었다.
• 이 방법은 검증용으로 별도의 셀럽 사진 데이터셋에 적용되었으며, 이미지 품질과 인물의 외형 차이가 있음에도 불구하고 도메인 간 일반화 능력이 뛰어나다는 점을 입증하였다.

실험 결과

연구 질문

• RQ1 100년에 걸친 표준화된 미국 고등학교 졸업기념사진에서 패션, 머리감촉, 사회적 관습의 시각적 추세를 자동으로 탐지할 수 있는가?
• RQ2 단일 얼굴 이미지의 시각적 정보만을 사용하여 딥러닝 모델이 졸업기념사진 촬영 연도를 얼마나 정확하게 예측할 수 있는가?
• RQ3 모델이 연도 예측에 의존하는 특정 시각적 요소(예: 헤어스타일, 안경, 메이크업 등)는 무엇이며, 이는 역사적 패션 주기와 일치하는가?
• RQ4 고등학생에서 프로 여배우나 모델로 이뤄진 고대비 졸업기념사진에 대해서도 모델이 일반화 가능한가? 도메인 이동이 존재하더라도 말이다.
• RQ5 라벨이 약하고 시각적 공간이 고차원적인 역사적 이미지 연도 예측 맥락에서 딥러닝 모델의 의사결정을 어떻게 해석할 수 있는가?

주요 결과

• 168,055장의 졸업기념사진(중요한 37,921장은 정면 각도)으로 구성된 데이터셋은 공개되어 있으며, 시각적 역사 분석의 기초 자료로 기여한다.
• CNN 모델은 여성의 경우 중앙 오차 4년, 남성의 경우 6년으로 졸업기념사진 촬영 연도 예측에 뛰어난 성능을 보였다.
• 모델은 이미지 품질과 인물 유형의 차이가 있음에도 불구하고, 셀럽 사진에 대해 정확히 10년대 단위로 연도를 예측하여 우수한 일반화 능력을 입증하였다.
• 샐리언시 시각화 방법은 1940년대 어두운 립스틱, 1960년대 평평한 번스, 1990년대 머리카락 분할선 등 특정 시대의 특징을 성공적으로 국소화하였으며, 기록된 패션 트렌드와 일치하였다.
• 기존 방법 대비 더 낮은 L1 오차를 기록하며, 분류 정확도 0.033을 달성하여 Simonyan 등 [21]의 방법(0.017)을 초월하였다.
• 안경 사용 빈도의 변동이 콘택트 렌즈의 도입과 보급과 관련이 있음을 데이터 기반으로 확인하였으며, 기술과 시각 문화 간의 연결 고리를 제시하였다.