[論文レビュー] Learning via social awareness: improving sketch representations with facial feedback

Natasha Jaques, Jesse Engel+4 more|arXiv (Cornell University)|Feb 12, 2018

Face Recognition and Perception被引用数 6

ひとこと要約

この論文では、人間の顔の表情という暗黙の社会的フィードバックを、深層生成モデルにおけるスケッチ生成のための内因的損失信号として用いる手法を提案している。視聴者の顔の反応データを用いて訓練されたラティントコンストレイントGAN（LC-GAN）により、独立評価で76名のユーザーに対して顕著に肯定的な顔の表情を誘発する、より洗練されたスケッチを生成するモデルが学習される。

ABSTRACT

In the quest towards general artificial intelligence (AI), researchers have explored developing loss functions that act as intrinsic motivators in the absence of external rewards. This paper argues that such research has overlooked an important and useful intrinsic motivator: social interaction. We posit that making an AI agent aware of implicit social feedback from humans can allow for faster learning of more generalizable and useful representations, and could potentially impact AI safety. We collect social feedback in the form of facial expression reactions to samples from Sketch RNN, an LSTM-based variational autoencoder (VAE) designed to produce sketch drawings. We use a Latent Constraints GAN (LC-GAN) to learn from the facial feedback of a small group of viewers, and then show in an independent evaluation with 76 users that this model produced sketches that lead to significantly more positive facial expressions. Thus, we establish that implicit social feedback can improve the output of a deep learning model.

研究の動機と目的

• 人間の顔の表情から得られる暗黙の社会的フィードバックが、生成モデルの性能向上に有効な内因的モチベーターとして機能するかを調査すること。
• 現在の研究がAI学習における社会的相互作用を内因的モチベーションの源として無視しているというギャップを埋めること。
• 視聴者の顔の反応を活用して、より汎用的で社会的に魅力的なスケッチ表現を学習する手法を開発すること。
• 社会的フィードバックに基づいて訓練されたモデルが、ベースラインモデルと比較してより肯定的な感情反応を引き起こすかどうかを評価すること。

提案手法

• スケッチRNN（VAEベースのLSTMモデル）が生成したスケッチに対して、視聴者の顔の表情データを収集した。
• ラティントコンストレイントGAN（LC-GAN）を用いて、顔の表情から導出された社会的フィードバック信号に基づいて生成モデルを条件づけた。
• LC-GANを、肯定的な顔の反応に関連する潜在空間パターンと整合するように訓練した。
• 顔の表情分析を用いて暗黙のフィードバック信号を抽出し、これを生成器の報酬信号の一種として扱った。
• 社会的フィードバック信号を損失関数に統合し、モデルがより社会的に魅力的なスケッチを生成するように誘導した。
• 最終モデルを76名の保留セットユーザーに対して評価し、生成スケッチの感情的影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 人間の顔の表情から得られる暗黙の社会的フィードバックは、生成モデルの出力向上に有効な内因的損失信号として機能するか？
• RQ2 社会的フィードバックに基づいて訓練されたスケッチ生成モデルは、より洗練されており、感情的にも惹きつける出力を得られるか？
• RQ3 社会的フィードバックに基づいて訓練されたモデルの性能は、そのようなフィードバックが存在しないベースラインモデルと比較して、ユーザーの感情的反応においてどのように異なるか？
• RQ4 社会的フィードバックは、深層生成モデルにおける学習表現の汎用性と品質を向上させることができるか？

主な発見

• LC-GANを用いて社会的フィードバックを学習させたモデルは、ベースラインのスケッチRNNと比較して、視聴者から顕著に肯定的な顔の表情を誘発した。
• 76名のユーザーによる独立評価により、社会的フィードバックを学習に組み込んだモデルが、より魅力的で感情的にも惹きつけるスケッチを生成することが確認された。
• 顔の反応を潜在的制約として用いることで、明示的な報酬ラベルが不要なまま、生成スケッチの品質と社会的受容性が向上した。
• 結果から、外部報酬が存在しない状況下でも、社会的フィードバックが表現学習における強力な内因的モチベーターとして機能することが示された。
• LC-GANフレームワークは、暗黙の人間の反応を活用して、より人間の価値観に合致した出力を指向する生成モデリングを成功裏に実現した。