[論文レビュー] Adversarial Training in Affective Computing and Sentiment Analysis: Recent Advances and Perspectives

Jing Han, Zixing Zhang+2 more|arXiv (Cornell University)|Sep 21, 2018

Sentiment Analysis and Opinion Mining参考文献 96被引用数 35

ひとこと要約

本論文は、感情認識およびセンチメント分析における敵対的訓練の包括的概要を提供し、テキスト、音声、画像、動画のマルチモodalな環境において、感情の合成・変換・ロバストな認識を目的とした生成的敵対的ネットワーク（GANs）に焦点を当てる。GANの変種がサンプル品質とモデル安定性を向上させる一方で、感情AIシステムにおける主な課題と今後の研究方向性も特定している。

ABSTRACT

Over the past few years, adversarial training has become an extremely active research topic and has been successfully applied to various Artificial Intelligence (AI) domains. As a potentially crucial technique for the development of the next generation of emotional AI systems, we herein provide a comprehensive overview of the application of adversarial training to affective computing and sentiment analysis. Various representative adversarial training algorithms are explained and discussed accordingly, aimed at tackling diverse challenges associated with emotional AI systems. Further, we highlight a range of potential future research directions. We expect that this overview will help facilitate the development of adversarial training for affective computing and sentiment analysis in both the academic and industrial communities.

研究の動機と目的

• 感情認識およびセンチメント分析に特化した敵対的訓練手法の、初めての包括的概要を提供すること。
• データスパarsity、モデル不安定性、低品質な生成感情サンプルといった、既存の感情AIシステムの限界を是正すること。
• 感情認識を越えて、テキスト、音声、画像、動画のマルチモーダルデータにおける感情の合成・変換に向けた敵対的訓練の応用を検討すること。
• ソフトな感情制御、順序付き信号生成（例：音声、動画）およびベンチマーク標準化といった、今後の研究の課題と方向性を特定すること。
• 中間のテキスト変換を回避するエンドツーエンドの敵対的フレームワークを提唱し、より人間らしい感情対話システムの実現を図ること。

提案手法

• 感情認識のための代表的なGANベースのモデルを調査・分類し、条件付きGAN、InfoGAN、AdaGANを含むアンサンブルGANを含む。
• 敵対的訓練が、現実的な感情分布を学習し、サンプルの多様性と品質を向上させることで、生成モデルの性能を向上させる仕組みを分析する。
• テキスト、音声、視覚的モダリティにおいて、2人零和ゲームとしてのディスクリミネーターの役割が、生成された感情出力を精緻化する仕組みを検討する。
• BLEU、ネオビューティ、関連性といった指標を用いて、I2P-GAN や WaveGAN といった GAN の変種が、感情表現豊かなコンテンツを生成する性能を評価する。
• 音声からテキストへの変換およびテキストから音声への変換の過程での情報損失を回避するため、エンドツーエンドの感情対話システムに敵対的訓練を統合する提案を行う。
• 動的で変化する感情シーケンスの生成に課題がある中で、ソフトコンディショニングやシーケンスベースのディスクリミネーターといったアーキテクチャの革新を強調する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、テキスト、音声、画像、動画の複数モダリティにおいて、合成された感情サンプルの品質と多様性をどのように向上させ得るか？
• RQ2 音声や動画における順序付き感情シグナル生成のような状況において、GANを適用するにあたり、主な課題は何か？
• RQ3 感情認識のタスクにおいて、収束速度、正確性、耐性という観点から、異なる GAN アーキテクチャはどのように比較されるか？
• RQ4 敵対的訓練は、感情認識と理解の分野において、生成モデルと識別モデルの両方をどのように強化できるか？
• RQ5 エンドツーエンドで人間らしい感情AIシステムを発展させるにあたり、敵対的フレームワークを用いた今後の研究で最も有望な方向性は何か？

主な発見

• 敵対的訓練は、テキスト、音声、画像の複数モダリティにおいて、生成された感情サンプルの現実性と多様性を顕著に向上させる。
• I2P-GAN などの GAN ベースのモデルは、SeqGAN などのベースラインを上回り、詩の生成タスクにおいて、BLEU スコア、ネオビューティ、関連性の観点で優れた性能を示す。
• InfoGAN は従来の GAN よりも収束が速く、感情表現の学習における訓練効率の向上を示している。
• 進展は見られるものの、感情認識における GAN ベースのモデルを比較評価するための標準化されたベンチマークや評価指標は存在せず、公平な性能評価が阻害されている。
• 現在の最先端の感情変換システムは、静的画像に限定されており、動的シーケンスベースの変換（例：音声や動画におけるもの）は依然として大きな未解決課題のままである。
• 中間のテキスト変換を回避するエンドツーエンドの敵対的対話システムは、今後の主要な方向性とされる。情報損失の低減と自然さの向上が期待できる。