[論文レビュー] Synthetic-Neuroscore: Using A Neuro-AI Interface for Evaluating Generative Adversarial Networks

Zhengwei Wang, Qi She+3 more|arXiv (Cornell University)|May 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 5

ひとこと要約

本論文は、神経AIインターフェースを介して脳波（EEG）信号を用いて人間の知覚的品質を反映する、新しいGAN評価指標Neuroscoreを提案する。訓練段階では神経データのみを用いて、生成画像からの合成P300応答を予測するCNNを学習することで、人間の判断と優れた一貫性を示し、必要なサンプル数を大幅に削減（最低20枚まで）し、画像単位での品質順位付けを可能にした。これはIS、MMD、FIDに比べて知覚的整合性と効率性に優れている。

ABSTRACT

Generative adversarial networks (GANs) are increasingly attracting attention in the computer vision, natural language processing, speech synthesis and similar domains. Arguably the most striking results have been in the area of image synthesis. However, evaluating the performance of GANs is still an open and challenging problem. Existing evaluation metrics primarily measure the dissimilarity between real and generated images using automated statistical methods. They often require large sample sizes for evaluation and do not directly reflect human perception of image quality. In this work, we describe an evaluation metric we call Neuroscore, for evaluating the performance of GANs, that more directly reflects psychoperceptual image quality through the utilization of brain signals. Our results show that Neuroscore has superior performance to the current evaluation metrics in that: (1) It is more consistent with human judgment; (2) The evaluation process needs much smaller numbers of samples; and (3) It is able to rank the quality of images on a per GAN basis. A convolutional neural network (CNN) based neuro-AI interface is proposed to predict Neuroscore from GAN-generated images directly without the need for neural responses. Importantly, we show that including neural responses during the training phase of the network can significantly improve the prediction capability of the proposed model. Materials related to this work are provided at https://github.com/villawang/Neuro-AI-Interface.

研究の動機と目的

• 人間の知覚に一致する評価方法を提供し、統計的類似度指標に依存しないGANの性能評価という重要な課題に取り組む。
• GAN評価に必要なサンプル数を削減し、大規模な画像セットを生成する際の高い計算コストによる実用性の欠如を是正する。
• GANの出力内での画像単位の品質スコアリングを可能にし、モデルの最適化に向けた高品質・低品質なサンプルの特定を可能にする。
• 訓練段階でのEEG信号を用いた画像から知覚的品質を予測する神経AIインターフェースを開発し、推論段階ではリアルタイムの神経データを必要としない。

提案手法

• 人間被験者による画像視認時に収集したEEGデータを用いて、GANが生成した画像から合成P300振幅応答を予測するための畳み込みニューラルネットワーク（CNN）を訓練する。
• 神経AIインターフェースは、画像特徴量と対応する1試行分のEEG応答（例：P300）の両方を用いて、画像から脳信号パターンへのマッピングを学習する。
• ビームフォーミングと線形判別分析（LDA）を用いて1試行分のEEG信号品質を向上させ、20枚の画像提示でさえも安定したP300振幅推定が可能になる。
• 合成Neuroscoreは、各生成画像に対する予測P300振幅として計算され、知覚的品質スコアとして機能する。
• P300応答予測性能の観点から、浅いネットワーク（Shallow）、MobileNet、Inceptionの3つのバックボーンアーキテクチャを評価する。
• 推論段階では、訓練済みモデルが神経データを一切必要とせず、画像からの直接的なNeuroscore予測が可能となり、スケーラブルかつ効率的な評価が実現される。

実験結果

リサーチクエスチョン

• RQ1 EEGデータで訓練された神経AIインターフェースは、人間の判断と高い一貫性を示して、GANが生成した画像の知覚的品質を予測できるか？
• RQ2 従来のFID や IS と比較して、本手法の合成Neuroscoreは、信頼性ある評価に必要なサンプル数を著しく削減できるか？
• RQ3 合成Neuroscoreは、画像単位での品質順位付けが可能であり、GAN出力内での低性能なサンプルの特定が可能か？
• RQ4 訓練段階での神経応答データの統合が、テスト段階で神経データが利用不可であっても、神経AIインターフェースの予測精度を向上させるか？
• RQ5 IS、MMD、FIDといった既存の指標と比較して、合成Neuroscoreは人間の知覚的順位付けとの整合性において優れているか？

主な発見

• 合成Neuroscoreは、人間の判断との一致度（BE精度）が0.995に達し、IS（0.44）、MMD（0.22）、FID（63.29）を著しく上回った。
• 本手法は20枚の画像提示で安定して収束し、従来の指標が数千枚の画像を必要とするのに対し、極めて少ないデータ量でも高い耐障害性を示した。
• EEGデータを用いて訓練した神経AIインターフェースは、神経監視なしのモデルよりも高い予測精度を達成しており、訓練段階での神経データの価値を裏付けた。
• 合成Neuroscoreは画像単位の品質スコアリングを可能にした。これは、予測されたP300振幅が個々の画像の知覚的品質と相関していることから裏付けられた。
• 3つのバックボーンモデルの中で、MobileNet-EEGが最も優れた合成Neuroscore性能（1.71）を示し、人間の判断との一貫性も高い水準を維持した。
• 本手法は、評価段階でリアルタイムの神経データを必要としないことを成功裏に実証し、知覚的根拠に基づくGAN評価フレームワークのスケーラブルな展開を可能にした。