[論文レビュー] Classifying Online Dating Profiles on Tinder using FaceNet Facial Embeddings

Charles F. Jekel, Raphael T. Haftka|arXiv (Cornell University)|Mar 12, 2018

Face recognition and analysis参考文献 12被引用数 5

ひとこと要約

この論文では、FaceNetの顔特徴埋め込みを用いて、Tinderのデートプロフィールの個人化分類モデルを提案している。単一顔のプロフィール画像から128次元の顔特徴を抽出し、ロジスティック回帰モデルを訓練することで、20枚のプロフィールでわずか65％の検証精度を達成し、約80枚のプロフィールでピークの73％に到達する。これは、収益の逓減のポイントを示している。

ABSTRACT

A method to produce personalized classification models to automatically review online dating profiles on Tinder is proposed, based on the user's historical preference. The method takes advantage of a FaceNet facial classification model to extract features which may be related to facial attractiveness. The embeddings from a FaceNet model were used as the features to describe an individual's face. A user reviewed 8,545 online dating profiles. For each reviewed online dating profile, a feature set was constructed from the profile images which contained just one face. Two approaches are presented to go from the set of features for each face, to a set of profile features. A simple logistic regression trained on the embeddings from just 20 profiles could obtain a 65% validation accuracy. A point of diminishing marginal returns was identified to occur around 80 profiles, at which the model accuracy of 73% would only improve marginally after reviewing a significant number of additional profiles.

研究の動機と目的

• 過去の好み行動に基づいて、Tinderにおけるユーザーの好みを予測する、個人化された分類モデルを開発すること。
• 事前学習済みのFaceNetを用いて抽出した顔特徴が、デートプロフィールの好みを効果的に表現・予測できるかどうかを調査すること。
• 信頼性のある、ユーザー固有の分類モデルを構築するために必要な最小プロフィール数を特定すること。
• 顔埋め込みをプロフィールレベルの表現に統合するための異なる特徴集約戦略を比較すること。
• 訓練データの増加に伴う、精度、真正陽性率・真正陰性率、および分散低減の観点から、モデルのパフォーマンスを評価すること。

提案手法

• FaceNet、すなわち深層度量学習モデルを用いて、単一顔を含むプロフィール画像から128次元の顔埋め込みを抽出する。
• 2つの特徴集約手法を提案：元の128次元埋め込みベクトル（i_p）を使用する方法、または複数顔の埋め込みを平均化する方法（i_avg）だが、最終評価では単一顔画像のみを用いる。
• カスタムアプリケーションがTinderでのユーザーの好み（好意）・嫌い（不満）をログ記録し、画像、名前、年齢、自己紹介文などのプロフィールメタデータを保存する。
• ベース分類器としてロジスティック回帰を用い、20から8,545枚のプロフィールの段階的な増加するサブセットで訓練することで、パフォーマンスのスケーリングを評価する。
• 10,000回のランダム交差検証を、訓練サイズ（10から406枚）の範囲で実施し、モデルの安定性を評価し、ランダムベースラインと比較する。
• 検証精度、真正陽性率（好意の精度）、真正陰性率（不満の精度）を用いてモデルを評価し、訓練データサイズに応じた可視化を行う。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのFaceNetモデルから抽出した顔埋め込みは、Tinderプロフィールのユーザー好みを効果的に予測できるか？
• RQ2 どれほどのTinderプロフィール数が必要か、分類モデルがランダムな推測を著しく上回るようになるか？
• RQ3 どの時点でモデル精度が頭打ちとなり、ユーザーの努力に対する収益の逓減が現れるか？
• RQ4 異なる特徴集約戦略は、モデルのパフォーマンスと安定性にどのように影響するか？
• RQ5 複数のランダム訓練分割におけるモデルパフォーマンスの分散はどの程度で、訓練データの増加に伴いどのように減少するか？

主な発見

• 20枚のTinderプロフィールでの訓練で、ロジスティック回帰モデルが65％の検証精度を達成し、早期の有効性を示した。
• 約80枚のプロフィールでモデル精度は73％に到達し、以降の改善はわずかであった。これは収益の逓減のポイントを示している。
• 10枚の段階で、モデルの平均検証精度はランダム分類器を著しく上回っており、非ランダムな予測力があることを確認した。
• 訓練データを81から406枚に増加させた際、モデルパフォーマンスの分散が著しく低下し、安定性の向上が確認された。
• モデルは好意バイアス（真正陽性率）を示し、20枚のプロフィールでロジスティック回帰モデルが70％の好意精度と60％の不満精度を達成した。
• 10,000回のランダム訓練スプリット全体で結果が安定しており、確率密度関数は訓練データが増加するにつれて一貫した改善と分散の低減を示した。