[論文レビュー] Like Partying? Your Face Says It All. Predicting the Ambiance of Places with Profile Pictures

Мириам Реди, Daniele Quercia+2 more|arXiv (Cornell University)|May 28, 2015

Human Mobility and Location-Based Analysis被引用数 9

ひとこと要約

本稿では、カフェやバーなどの社交的場所の雰囲気を、訪問者のプロフィール写真のみを用いて予測する手法を提案する。顔の画像に計算的アートの特徴を適用することで、モデルは[0,1]スケールで誤差≤0.1の高精度な雰囲気予測を実現し、一部の状況では人間を上回る。また、アルゴリズムは画像品質や顔のアングルといった客観的視覚的特徴に依存するのに対し、人間は感情的な色の関連付けに依存していることが明らかになった。

ABSTRACT

To choose restaurants and coffee shops, people are increasingly relying on social-networking sites. In a popular site such as Foursquare or Yelp, a place comes with descriptions and reviews, and with profile pictures of people who frequent them. Descriptions and reviews have been widely explored in the research area of data mining. By contrast, profile pictures have received little attention. Previous work showed that people are able to partly guess a place's ambiance, clientele, and activities not only by observing the place itself but also by observing the profile pictures of its visitors. Here we further that work by determining which visual cues people may have relied upon to make their guesses; showing that a state-of-the-art algorithm could make predictions more accurately than humans at times; and demonstrating that the visual cues people relied upon partly differ from those of the algorithm.

研究の動機と目的

• プロフィール写真に含まれる視覚的ヒントが、カフェやバーなどの社交的場所の雰囲気を予測できるかどうかを検証すること。
• 人間がプロフィール写真から雰囲気を推定する際に使用する視覚的特徴を特定すること。
• 最先端のコンピュータビジョンアルゴリズムが行う雰囲気予測と人間の雰囲気認識を比較すること。
• 計算的アートの特徴が、主観的な雰囲気次元を効果的に捉えられるかどうかを評価すること。
• フェーシャルイメージを用いた雰囲気認識の実用的・理論的意義を、都市的・社会的コンピューティングの文脈で探ること。

提案手法

• テキサス州オースティンの49のFoursquare施設（24軒のバー、25軒のカフェ）を対象とし、各施設に25枚以上の訪問者プロフィール写真が存在するデータセットを活用した。
• 色、テクスチャ、構図、顔面属性を含む、最先端の計算的アートツールを用いて258の視覚的特徴を抽出した。
• 相関分析を用いて、これらの特徴を72の事前に定義された雰囲気次元（例：ロマンチック、親しみやすさ、創造的）にマッピングした。
• 1施設あたり25枚のプロフィール写真の視覚的特徴を集約し、その平均を用いて回帰モデルを訓練して雰囲気スコアを予測した。
• アンケートによる人間の推定ヒントとアルゴリズムで抽出された特徴を比較するため、相関分析を実施した。
• 平均絶対誤差（MAE）を用いてモデルの性能を評価し、[0,1]スケールで最大誤差0.1を記録した。

実験結果

リサーチクエスチョン

• RQ1 人間は、プロフィール写真のどの視覚的ヒントを用いて場所の雰囲気を推定しているのか？
• RQ2 最先端のコンピュータビジョンアルゴリズムは、プロフィール写真のみを用いて人間を上回る精度で場所の雰囲気を予測できるか？
• RQ3 人間が依存する視覚的ヒントとアルゴリズムが抽出するヒントはどのように異なるか？
• RQ4 計算的アートの特徴が、主観的な雰囲気次元とどの程度相関しているか？
• RQ5 ソーシャルネットワークにおける顔の画像を用いた場所の雰囲気推定に、実用的・理論的意義は何か？

主な発見

• アルゴリズムは[0,1]スケールの雰囲気スコア予測において、平均絶対誤差が最大0.1に留まり、高い予測精度を示した。
• 人間は主に色に対する感情的関連付け（例：緑＝落ち着き、ピンク＝自慢げ）に依存する一方、アルゴリズムは画像品質や顔のアングルといった客観的特徴に依存した。
• ユニークネスなどの計算的アート特徴は、創造的・芸術的場所との関連を効果的に捉えていた。
• 人間の雰囲気判断は性別や人種のステレオタイプに一部影響を受けていたが、一貫性はなく、アルゴリズムはこうしたバイアスを回避した。
• 2つの特徴間の相関を分析した結果、元の72の雰囲気次元から18の直交する雰囲気次元を導出可能であることが明らかになった。
• 本フレームワークは、雰囲気に基づく施設推薦や、企業の戦略的顔選びといった実世界の応用の可能性を示している。