[논문 리뷰] Adversarial Training in Affective Computing and Sentiment Analysis: Recent Advances and Perspectives

Jing Han, Zixing Zhang외 2명|arXiv (Cornell University)|2018. 09. 21.

Sentiment Analysis and Opinion Mining참고 문헌 96인용 수 35

한 줄 요약

이 논문은 정서 컴퓨팅 및 감성 분석 분야에서의 적대적 훈련에 대한 종합적인 개요를 제공하며, 텍스트, 음성, 이미지, 영상 등 다양한 모odal에서 정서 합성, 변환 및 강인한 인식을 위한 생성적 적대적 네트워크(GANs)에 초점을 맞춘다. GAN의 변종이 샘플 품질과 모델 안정성을 향상시키는 데 기여한 점을 강조하면서도, 정서적 AI 시스템에서의 핵심 과제와 향후 연구 방향을 밝히고 있다.

ABSTRACT

Over the past few years, adversarial training has become an extremely active research topic and has been successfully applied to various Artificial Intelligence (AI) domains. As a potentially crucial technique for the development of the next generation of emotional AI systems, we herein provide a comprehensive overview of the application of adversarial training to affective computing and sentiment analysis. Various representative adversarial training algorithms are explained and discussed accordingly, aimed at tackling diverse challenges associated with emotional AI systems. Further, we highlight a range of potential future research directions. We expect that this overview will help facilitate the development of adversarial training for affective computing and sentiment analysis in both the academic and industrial communities.

연구 동기 및 목표

• 정서 컴퓨팅 및 감성 분석에 특화된 적대적 훈련 기법에 대한 첫 번째 종합적 개요를 제공하는 것.
• 데이터 희소성, 모델 불안정성, 낮은 품질의 생성된 정서 샘플 등의 기존 정서적 AI 시스템의 한계를 해결하는 것.
• 정서 인식을 넘어서 정서 합성 및 다중모달 데이터(텍스트, 음성, 이미지, 영상) 간 정서 변환에 이르기까지 적대적 훈련의 응용을 탐색하는 것.
• 부드러운 정서 제어, 순차적 신호 생성(예: 음성, 영상) 및 벤치마크 표준화와 같은 열린 연구 과제와 향후 연구 방향을 식별하는 것.
• 중간 단계의 텍스트 변환을 생략하는 엔드 투 엔드 적대적 프레임워크를 주장함으로써 더 인간다운 정서적 대화 시스템을 가능하게 하는 것.

제안 방법

• 정서 컴퓨팅에 적용된 대표적인 GAN 기반 모델을 조사하고 분류하는 것, 예를 들어 조건부 GAN, InfoGAN, AdaGAN과 같은 앙상블 GAN 포함.
• 적대적 훈련이 현실적인 정서 분포를 학습하고 샘플의 다양성과 품질을 향상시켜 생성 모델의 성능을 향상시키는 방식으로 작용하는 방식을 분석하는 것.
• 텍스트, 음성 및 시각적 모달에서 생성된 정서 출력을 개선하기 위해 이중 플레이어 제로섬 게임에서 디스커미네이터를 활용하는 방식을 검토하는 것.
• I2P-GAN 및 WaveGAN과 같은 GAN 변종의 성능을 BLEU, 신선도, 관련성 등의 지표를 통해 평가하여 정서적으로 표현력 있는 콘텐츠 생성 능력을 분석하는 것.
• 음성에서 텍스트로의 변환 및 텍스트에서 음성으로의 변환 과정에서의 정보 손실을 방지하기 위해 적대적 훈련을 엔드 투 엔드 정서 대화 시스템에 통합하는 것을 제안하는 것.
• 동적인 정서 시퀀스 생성의 과제를 해결하기 위해 소프트 조건화 및 시퀀스 기반 디스커미네이터와 같은 아키텍처 혁신을 강조하는 것.

실험 결과

연구 질문

• RQ1 어떻게 적대적 훈련이 텍스트, 음성, 이미지 및 영상에서 합성된 정서 샘플의 품질과 다양성을 향상시킬 수 있는가?
• RQ2 음성 및 영상과 같은 순차적 정서 신호 생성에 GAN을 적용할 때의 주요 과제는 무엇인가?
• RQ3 정서 컴퓨팅 작업에 있어 수렴 속도, 정확도 및 강건성 측면에서 서로 다른 GAN 아키텍처는 어떻게 비교될 수 있는가?
• RQ4 적대적 훈련은 정서 인식 및 이해에서 생성 모델과 분류 모델의 성능을 어떻게 향상시킬 수 있는가?
• RQ5 적대적 프레임워크를 활용해 엔드 투 엔드로 인간다운 정서적 AI 시스템을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 적대적 훈련은 텍스트, 음성 및 이미지 등 다양한 모달에서 생성된 정서 샘플의 현실성과 다양성을 크게 향상시킨다.
• I2P-GAN과 같은 GAN 기반 모델은 시퀀스 GAN과 같은 베이스라인에 비해 시험 과제에서 더 높은 BLEU 점수, 더 높은 신선도 및 관련성을 달성하여 시각적 정서 생성 작업에서 뛰어난 성능을 보인다.
• InfoGAN은 전통적인 GAN보다 더 빠른 수렴 속도를 보이며, 정서 표현 학습의 훈련 효율성이 향상됨을 시사한다.
• 진전이 있었음에도 불구하고, 정서 컴퓨팅 분야에서 GAN 기반 모델을 비교 평가하기 위한 표준화된 벤치마크나 평가 지표가 존재하지 않아 공정한 성능 평가가 어렵다.
• 현재 최고 수준의 정서 변환 시스템은 정적 이미지에 국한되어 있으며, 음성이나 영상에서의 순차적 기반 변환은 여전히 주요 열린 과제로 남아 있다.
• 중간 단계의 텍스트 변환을 생략하는 엔드 투 엔드 적대적 대화 시스템은 향후 핵심 연구 방향으로 여겨지며, 정보 손실 감소와 자연스러움 향상에 기여할 수 있다.