[論文レビュー] A Century of Portraits: A Visual Historical Record of American High School Yearbooks

Shiry Ginosar, Kate Rakelly+5 more|arXiv (Cornell University)|Nov 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 19

ひとこと要約

本論文は、1900年から2000年までのアメリカの高校生年鑑ポートレート168,055枚から成る大規模なデータセットを紹介し、弱い教師あり深層学習を用いてファッション、ヘアスタイル、社会的規範における歴史的視覚的トレンドを同定する。微調整されたCNNを用いて、女性では中央誤差4年、男性では6年という高い日付特定精度を達成した。また、新規のサリエンシー法を用いて、ヘアスタイル や眼鏡といった時代特有の特徴を視覚化した。

ABSTRACT

Imagery offers a rich description of our world and communicates a volume and type of information that cannot be captured by text alone. Since the invention of the camera, an ever-increasing number of photographs document our "visual culture" complementing historical texts. But currently, this treasure trove of knowledge can only be analyzed manually by historians, and only at small scale. In this paper we perform automated analysis on a large-scale historical image dataset. Our main contributions are: 1) A publicly-available dataset of 168,055 (37,921 frontal-facing) American high school yearbook portraits. 2) Weakly-supervised data-driven techniques to discover historical visual trends in fashion and identify date-specific visual patterns. 3) A classifier to predict when a portrait was taken, with median error of 4 years for women and 6 for men. 4) A new method for discovering and displaying the visual elements used by the CNN-based date-prediction model to date portraits, finding that they correspond to the tell-tale fashions of each era. Project page can be found at: http://people.eecs.berkeley.edu/~shiry/projects/yearbooks/yearbooks.html .

研究の動機と目的

• 20世紀にわたる視覚的歴史的分析のための、大規模かつ公開可能な歴史的年鑑ポートレートデータセットの構築。
• 標準化されたポートレート画像から、ファッション、ヘアスタイル、社会的規範における視覚的トレンドを自動で同定するデータ駆動型技術の開発。
• 1枚の顔画像からの視覚的情報のみを用いて、撮影年を高い精度で予測するCNNベースの分類器の訓練。特に、未観測の有名人のポートレートに対しても有効であることを目的とする。
• モデルの意思決定を解釈可能にするため、日付予測に使用した具体的な視覚的要素（例：髪型、メイク、眼鏡）を同定し、歴史的トレンドと整合しているかを確認すること。

提案手法

• 著者らは、20世紀にわたるアメリカの高校から、168,055枚の年鑑ポートレート（うち37,921枚が正面顔画像）を収集・整備した。
• 弱い教師あり学習を適用し、笑顔の頻度、髪の長さ、眼鏡の普及度といった時間的視覚的パターンを同定。これらは歴史的出来事や技術的進歩と相関させた。
• 1枚のポートレート画像から撮影年を予測するための畳み込みニューラルネットワーク（CNN）を訓練。女性では中央誤差4年、男性では6年という精度を達成した。
• CNNが日付予測に使用した特徴マップの特定領域を可視化する新規の手法を開発。選択的ユニット活性化と空間サリエンシー地図法に基づく。
• ネットワーク内の特定の特徴マップを無効化しつつ予測信頼度を維持することで、1960年代のボブカールや1980年代のクセ毛といった時代特有の視覚的手がかりを局所化可能となった。
• 有名人のポートレートから成る未観測データセットを用いて検証し、高校生から有名人へのドメインシフトに対しても、画像品質や被写体の外見の違いを考慮して一般化性能を示した。

実験結果

リサーチクエスチョン

• RQ1 100年にわたる標準化された高校生年鑑ポートレートから、ファッション、ヘアスタイル、社会的規範における視覚的トレンドを自動で同定できるか？
• RQ2 1枚の顔画像からの視覚的情報のみを用いて、深層学習モデルがポートレートの撮影年をどの程度正確に予測できるか？
• RQ3 モデルが日付予測に依存している具体的な視覚的要素（例：髪型、眼鏡、メイク）は何か。それらは歴史的ファッションサイクルと整合しているか？
• RQ4 有名人の高コントラストポートレート（画像品質や被写体の外見が異なる）に対しても、モデルは一般化できるか。特に高校生からプロの女優やモデルへのドメインシフトに耐えうるか？
• RQ5 ラベルが弱く、視覚空間が高次元である歴史的画像日付特定の文脈において、深層学習モデルの意思決定をどのように解釈できるか？

主な発見

• 168,055枚の年鑑ポートレート（うち37,921枚が正面顔画像）から成るデータセットは公開されており、視覚的歴史的分析の基盤的リソースとして機能する。
• CNNモデルは、ポートレートの撮影年を予測する際、女性で中央誤差4年、男性で6年という精度を達成した。
• モデルは未観測の有名人ポートレートに対しても良好に一般化し、画像品質や被写体の種別にかかわらず、撮影された年代（10年単位）を正しく特定した。
• サリエンシー可視化手法により、1940年代の濃い口紅、1960年代のフラットなボブカール、1990年代のヘアラインの変化といった時代特有の視覚的特徴が的確に局所化された。これらの特徴は文書化されたファッショントレンドと整合した。
• 従来手法に比べ、特徴マップの判別的領域を同定する性能が優れており、分類精度は0.033（Simonyanら[21]の0.017）を記録。L1誤差も低減した。
• 本研究により、眼鏡の流行変動がコンタクトレンズの導入と普及と相関していることがデータドリブンに裏付けられた。これにより、技術と視覚文化の関係が明確に示された。