[논문 리뷰] Learning via social awareness: improving sketch representations with facial feedback

Natasha Jaques, Jesse Engel외 4명|arXiv (Cornell University)|2018. 02. 12.

Face Recognition and Perception인용 수 6

한 줄 요약

이 논문은 딥 생성 모델에서 스케치 생성을 향상시키기 위해 암묵적 사회적 피드백—특히 인간의 얼굴 표정—을 내재된 손실 신호로 사용하는 것을 제안한다. 시청자들의 얼굴 반응 데이터를 기반으로 Latent Constraints GAN(LC-GAN)을 훈련시켜, 독립적인 평가에서 76명의 사용자에게서 더 긍정적인 얼굴 표정을 유도하는 더 시각적으로 매력적인 스케치를 생성하도록 모델이 학습한다.

ABSTRACT

In the quest towards general artificial intelligence (AI), researchers have explored developing loss functions that act as intrinsic motivators in the absence of external rewards. This paper argues that such research has overlooked an important and useful intrinsic motivator: social interaction. We posit that making an AI agent aware of implicit social feedback from humans can allow for faster learning of more generalizable and useful representations, and could potentially impact AI safety. We collect social feedback in the form of facial expression reactions to samples from Sketch RNN, an LSTM-based variational autoencoder (VAE) designed to produce sketch drawings. We use a Latent Constraints GAN (LC-GAN) to learn from the facial feedback of a small group of viewers, and then show in an independent evaluation with 76 users that this model produced sketches that lead to significantly more positive facial expressions. Thus, we establish that implicit social feedback can improve the output of a deep learning model.

연구 동기 및 목표

• 암묵적 사회적 피드백, 즉 인간의 얼굴 표정이 생성 모델 성능 향상에 효과적인 내재적 동기로 작용할 수 있는지 조사하기 위해.
• 기존 연구에서 인공지능 학습에서 사회적 상호작용을 내재적 동기의 원천으로 간과하는 격차를 메우기 위해.
• 시청자들의 얼굴 반응을 활용하여 더 일반화 가능하고 사회적으로 매력적인 스케치 표현을 학습하는 방법을 개발하기 위해.
• 사회적 피드백을 기반으로 훈련된 모델이 기준 모델보다 더 긍정적인 정서 반응을 유도하는지 평가하기 위해.

제안 방법

• Sketch RNN(VAE 기반의 LSTM 모델)가 생성한 스케치에 대한 시청자 반응으로부터 얼굴 표정 데이터를 수집하였다.
• 사회적 피드백 신호로부터 유도된 얼굴 표정을 기반으로 생성 모델을 조건화하기 위해 Latent Constraints GAN(LC-GAN)을 사용하였다.
• 생성된 스케치가 긍정적인 얼굴 반응과 연관된 잠재 공간 패턴과 일치하도록 LC-GAN을 훈련시켰다.
• 얼굴 표정 분석을 통해 암묵적 피드백 신호를 추출하여, 이를 생성자에 대한 보상 신호의 형태로 간주하였다.
• 사회적 피드백 신호를 손실 함수에 통합하여, 더 사회적으로 매력적인 스케치를 생성하도록 모델을 유도하였다.
• 생성된 스케치의 정서적 영향을 측정하기 위해 보류된 76명의 사용자 집합을 대상으로 최종 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 인간의 얼굴 표정에서 유도된 암묵적 사회적 피드백이 생성 모델 출력 향상에 효과적인 내재된 손실 신호로 작용할 수 있는가?
• RQ2 사회적 피드백을 기반으로 훈련된 스케치 생성 모델이 더 시각적으로 매력적이고 정서적으로 몰입감 있는 출력을 생성하는가?
• RQ3 사회적 피드백을 기반으로 훈련된 모델의 성능은 외부 보상 없이도 기준 모델과 비교해 사용자의 정서 반응 측면에서 어떻게 다를까?
• RQ4 사회적 피드백은 심층 생성 모델에서 학습된 표현의 일반화 능력과 품질을 향상시킬 수 있는가?

주요 결과

• LC-GAN를 통해 사회적 피드백을 기반으로 훈련한 모델는 기준 모델인 Sketch RNN보다 시청자들로부터 유의미하게 더 긍정적인 얼굴 표정을 유도하는 스케치를 생성하였다.
• 76명의 사용자에게서 독립적으로 평가한 결과, 사회적 피드백을 기반으로 훈련된 모델가 생성한 스케치는 더 매력적으로 느껴지고 정서적으로 더 몰입감 있게 다가왔다.
• 얼굴 반응을 잠재 제약 조건으로 사용함으로써, 명시적 보상 레이블이 없더라도 생성된 스케치의 품질과 사회적 수용성을 향상시킬 수 있었다.
• 결과적으로 사회적 피드백는 외부 보상 없이도 표현 학습에서 강력한 내재적 동기로 작용할 수 있음을 보여주었다.
• LC-GAN 프레임워크는 암묵적인 인간 반응을 효과적으로 활용하여 생성 모델링을 더 인간 중심의 출력으로 유도하는 데 성공하였다.