[論文レビュー] Can deep learning help you find the perfect match?

Harm de Vries, Jason Yosinski|arXiv (Cornell University)|May 2, 2015

Evolutionary Psychology and Human Behavior参考文献 17被引用数 3

ひとこと要約

この論文は、事前学習モデルからの転移学習を用いて、プロフィール写真から個人のデート好まないを予測できるかを調査している。ImageNetで学習されたVGGNetの特徴量が、9,364枚のTinder写真からなるデータセットで好ましい/好ましくないを予測する際、68.1%の精度を達成し、性別予測用のネットワークの特徴量を上回り、深層特徴量を用いたパーソナライズドな魅力の予測の可能性を示しているが、データセットの制限があることにも注意を要する。

ABSTRACT

Is he/she my type or not? The answer to this question depends on the personal preferences of the one asking it. The individual process of obtaining a full answer may generally be difficult and time consuming, but often an approximate answer can be obtained simply by looking at a photo of the potential match. Such approximate answers based on visual cues can be produced in a fraction of a second, a phenomenon that has led to a series of recently successful dating apps in which users rate others positively or negatively using primarily a single photo. In this paper we explore using convolutional networks to create a model of an individual's personal preferences based on rated photos. This introduced task is difficult due to the large number of variations in profile pictures and the noise in attractiveness labels. Toward this task we collect a dataset comprised of $9364$ pictures and binary labels for each. We compare performance of convolutional models trained in three ways: first directly on the collected dataset, second with features transferred from a network trained to predict gender, and third with features transferred from a network trained on ImageNet. Our findings show that ImageNet features transfer best, producing a model that attains $68.1\%$ accuracy on the test set and is moderately successful at predicting matches.

研究の動機と目的

• 深層学習モデルが、プロフィール写真のみを用いて個人のロマンチックな好みを予測できるかを検討すること。
• パーソナライズドな魅力モデルを学習するための限られたデータの課題に対処するため、転移学習を活用すること。
• ImageNetからの転移学習と、類似したプロフィール画像で学習された性別予測モデルからの転移学習の有効性を比較すること。
• 深層特徴量が、一般化性を持つ形で、魅力といった繊細で主観的な好みを捉えることができるかを評価すること。

提案手法

• 研究者は、1人の個人の好みに基づき、Tinderの9,364枚のプロフィール写真を、二値の「いいね」または「いいねしない」ラベルでラベル付けした。
• ImageNetで事前学習されたVGGNetを微調整し、FC7層から4096次元の特徴量を抽出し、その上にロジスティック回帰分類器を訓練した。
• 同じデータセットで性別予測用のCNNを学習し、その最終層から特徴量を抽出して転移学習に用いた。
• 転移学習は、初期層を凍結し、VGGネットワークおよび性別予測ネットワークの最後の全結合層のみを微調整することで実施した。
• ハイパーパrameterは検証セットの性能に基づき調整され、過学習を防ぐためにL2正則化と早期停止が用いられた。
• モデルは保持されたテストセット上で評価され、個人の好みを予測する際の精度が測定された。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを用いて、深層畳み込みネットワークがプロフィール写真からパーソナライズドな魅力の好みを効果的に学習できるか？
• RQ2 性別予測という関連するが異なるタスクで学習されたモデルからの転移学習と比較して、ImageNetで事前学習されたモデルからの転移学習が、魅力予測において優れた性能を示すか？
• RQ3 意味的に離れたデータセット（ImageNet）からの特徴量転移と、密接に関連するデータセット（性別予測）からの特徴量転移を、個人の好みモデリングの文脈で比較すると、どちらが優れているか？
• RQ4 深層特徴量が、1枚の画像から人間のような主観的な魅力の判断をどれだけ正確に捉えることができるか？

主な発見

• 事前学習されたVGGNetの特徴量を用いたモデルが、68.1%の最高テスト精度を達成し、性別予測用の転移アプローチを顕著に上回った。
• 性別予測ネットワークからの転移は、最後の2層を微調整した場合でも61.3%の精度にとどまり、この特定のタスクでは転移性が低いことが示された。
• ImageNetの特徴量は優れた一般化性能を示し、66.9%の検証精度を達成し、ランダム推測（50%）と人間水準の精度（88%）の間の性能ギャップの約半分を埋めた。
• 性別ネットワークの最後の層のみを微調整した場合、高い訓練誤差と顕著なアンダーフィッティングが観察された。
• データセットは比較的バランスが取れており（いいね：53%、いいねしない：47%）、Tinderのアルゴリズムが人気プロフィールを優遇する可能性があるというサンプリングバイアスが示唆された。
• 本研究は、限られたデータでも、事前学習されたImageNetの特徴量が、魅力といった主観的な好みをモデル化する上で強力なインダクティブバイアスを提供することを強調している。