[논문 리뷰] Synthetic-Neuroscore: Using A Neuro-AI Interface for Evaluating Generative Adversarial Networks

Zhengwei Wang, Qi She외 3명|arXiv (Cornell University)|2019. 05. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 5

한 줄 요약

이 논문은 인간의 인지적 품질을 반영하기 위해 뇌-AI 인터페이스를 통해 EEG 기반 뇌 신호를 활용하는 새로운 GAN 평가 지표인 Neuroscore를 제안한다. 인간의 판단과 뛰어난 일致성을 보이며, 최소 20장의 샘플로도 평가가 가능하고, 이미지 단위의 품질 순위 매기기가 가능하며, IS, MMD, FID보다 인지적 일致성과 효율성 면에서 뛰어나다.

ABSTRACT

Generative adversarial networks (GANs) are increasingly attracting attention in the computer vision, natural language processing, speech synthesis and similar domains. Arguably the most striking results have been in the area of image synthesis. However, evaluating the performance of GANs is still an open and challenging problem. Existing evaluation metrics primarily measure the dissimilarity between real and generated images using automated statistical methods. They often require large sample sizes for evaluation and do not directly reflect human perception of image quality. In this work, we describe an evaluation metric we call Neuroscore, for evaluating the performance of GANs, that more directly reflects psychoperceptual image quality through the utilization of brain signals. Our results show that Neuroscore has superior performance to the current evaluation metrics in that: (1) It is more consistent with human judgment; (2) The evaluation process needs much smaller numbers of samples; and (3) It is able to rank the quality of images on a per GAN basis. A convolutional neural network (CNN) based neuro-AI interface is proposed to predict Neuroscore from GAN-generated images directly without the need for neural responses. Importantly, we show that including neural responses during the training phase of the network can significantly improve the prediction capability of the proposed model. Materials related to this work are provided at https://github.com/villawang/Neuro-AI-Interface.

연구 동기 및 목표

• 통계적 이질성 지표에 의존하는 것과는 달리 인간의 인지적 품질과 일치하는 방식으로 GAN 성능 평가의 도전 과제를 해결하기 위해.
• 높은 계산 비용으로 인해 대규모 이미지 세트를 생성하는 데 비실용적인 데서 비롯되는 GAN 평가에 필요한 샘플 수를 줄이기 위해.
• 모델 개선을 위해 저품질 및 고품질 샘플을 식별할 수 있도록 GAN 출력 내에서 이미지 단위의 품질 점수를 부여할 수 있도록 하기 위해.
• 실시간 신경 데이터 없이도 훈련 중에 EEG 신호를 사용하여 이미지에서 인지적 품질을 예측할 수 있는 뇌-AI 인터페이스를 개발하기 위해.

제안 방법

• 인간 피실험자가 이미지를 시각화하는 동안 수집된 EEG 데이터를 사용하여, GAN으로 생성된 이미지에서 합성 P300 진폭 반응을 예측하는 컨volutional 신경망(CNN)을 훈련한다.
• 신경 신호 패턴으로의 이미지 매핑을 학습하기 위해, 이미지 특징과 해당되는 단일 시험 EEG 반응(P300 등)을 모두 사용하여 신경-AI 인터페이스를 훈련한다.
• 빔포밍과 LDA 기법을 사용하여 단일 시험 EEG 신호 품질을 향상시켜, 최소 20장의 이미지 제시로도 안정적인 P300 진폭 추정이 가능하도록 한다.
• 합성-Neuroscore는 각 생성된 이미지에 대한 예측된 P300 진폭으로 계산되며, 이는 인지적 품질 점수로 기능한다.
• 신경생리학적 반응을 예측하는 데 있어 최고의 성능을 보이는 백본 아키텍처를 도출하기 위해, 얕은 네트워크, MobileNet, Inception의 세 가지 아키텍처를 평가한다.
• 추론 단계에서는 훈련된 모델이 신경 데이터 없이도 이미지에서 직접 Neuroscore를 예측할 수 있어, 확장성 있고 효율적인 평가가 가능하다.

실험 결과

연구 질문

• RQ1 EEG 데이터로 훈련된 뇌-AI 인터페이스가 인간의 판단과 높은 일致성을 보이며 GAN으로 생성된 이미지의 인지적 품질을 예측할 수 있는가?
• RQ2 기존의 FID나 IS와 같은 전통적 지표에 비해, 제안된 합성-Neuroscore가 신뢰성 있는 평가를 위해 훨씬 적은 샘플 수가 필요한가?
• RQ3 합성-Neuroscore가 GAN 출력 내에서 개별 생성 이미지의 품질을 순위 매길 수 있는가? 이를 통해 저성능 샘플 식별이 가능한가?
• RQ4 훈련 단계에서 신경 반응 데이터를 통합함으로써, 테스트 시점에 해당 데이터가 제공되지 않더라도 뇌-AI 인터페이스의 예측 정확도가 향상되는가?
• RQ5 합성-Neuroscore는 IS, MMD, FID와 같은 기존 지표와 비교해 인간의 인지적 순위와 얼마나 잘 일치하는가?

주요 결과

• 합성-Neuroscore는 인간 판단 일치 정확도 0.995(BE 정확도)를 달성하여, IS(0.44), MMD(0.22), FID(63.29)보다 인간 순위 일치도 면에서 뚜렷이 뛰어나다.
• 각 샘플에 대해 단지 20장의 이미지 제시로도 안정적으로 수렴하여, 기존 지표가 수천 장의 이미지가 필요로 하는 것과는 대비되며, 낮은 데이터 요구량에서의 강건성 입증.
• EEG 데이터로 훈련된 뇌-AI 인터페이스는 신경 감독 없이 훈련된 모델보다 높은 예측 정확도를 달성하여, 훈련 단계에서 신경 데이터의 가치를 입증한다.
• 합성-Neuroscore는 이미지 단위의 품질 점수 부여가 가능하며, 이는 예측된 P300 진폭이 개인 이미지 수준에서 인지적 품질과 상관관계가 있음을 보여준다.
• 세 가지 백본 모델 중에서 MobileNet-EEG가 가장 뛰어난 합성-Neuroscore 성능(1.71)을 기록하였으며, 인간 판단과의 일치성 또한 높았다.
• 실시간 신경 데이터가 평가 시 필요하지 않다는 점을 성공적으로 분리함으로써, 인지 기반 GAN 평가 프레임워크의 확장 가능한 구현이 가능해졌다.