[論文レビュー] Correlated discrete data generation using adversarial training

Shreyas Patel, Ashutosh Kakadiya+4 more|arXiv (Cornell University)|Apr 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 12

ひとこと要約

この論文では、特徴間の依存関係をモデル化することで、スキルセットなどの現実的で相関のある離散データを生成するため、相関ニューラルネットワークを活用した生成的対抗ネットワーク「CorrGAN」を提案する。ベースラインモデル（medGANなど）に比べ、ジョイントスキル共起パターンの保持が優れており、スキル確率分布における平均二乗誤差が33%低く、訓練エポックにわたって相関の一貫性が向上した。

ABSTRACT

Generative Adversarial Networks (GAN) have shown great promise in tasks like synthetic image generation, image inpainting, style transfer, and anomaly detection. However, generating discrete data is a challenge. This work presents an adversarial training based correlated discrete data (CDD) generation model. It also details an approach for conditional CDD generation. The results of our approach are presented over two datasets; job-seeking candidates skill set (private dataset) and MNIST (public dataset). From quantitative and qualitative analysis of these results, we show that our model performs better as it leverages inherent correlation in the data, than an existing model that overlooks correlation.

研究の動機と目的

• 既存のモデルが特徴の依存関係を捉えられていないことから、職業候補者のスキルセットのような現実的で相関のある離散データを生成する課題に対処すること。
• キャリアカウンセリング応用を想定し、職業や既存のスキルを条件として与えたもとでスキルベクトルを生成する条件付き生成モデルを開発すること。
• 離散特徴同士を独立とみなすのではなく、それらの内在的相関をモデル化することで、合成データの品質を向上させること。
• 定量的指標（MSE、相関）と定性的分析を用いて、実世界およびベンチマークデータセット上で性能を評価すること。
• 雇用サービスや医療分野など、データが少なくプライバシー制約のある分野におけるデータ拡張を可能にすること。

提案手法

• 生成器が職業ベクトルを条件として、ミニマックス最適化を用いて離散スキルベクトルを生成する条件付きGANフレームワークを採用する。
• スキルセット内のスキル間の相関を明示的にモデル化・保存するために、相関ニューラルネットワーク（CNR）を採用する。
• 実データと区別できるように、プロファイル用の条件付き入力（y）を用いて、生成されたスキルベクトルの現実性を評価するディスクラミネーターを適用する。
• 生成器とディスクラミネーターを敵対的損失を用いてエンドツーエンドで訓練し、スキルのジョイント共起パターンを維持することに注力する。
• 元のデータと生成データの間の相関忠実度を定量化するために、共起行列に基づく評価指標を用いる。
• 1400エポックの訓練パイプラインとしきい値ベースの正規化を用いて、スキル相関行列を計算する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、スキルセットのような相関のある離散データを、ジョイント特徴依存関係を保持したまま効果的に生成できるか？
• RQ2 相関ニューラルネットワークを組み込むことで、特徴間の相関を無視するモデルに比べ、生成された離散データの品質はどのように向上するか？
• RQ3 medGANなどの既存モデルに比べ、提案手法が実際のスキル分布の統計的性質をどれほど正確に再現できるか？
• RQ4 条件付き生成機能により、現在のスキルとターゲット職業に基づいてスキルアップの提案が可能な意味のあるキャリアカウンセリング応用が可能か？
• RQ5 訓練エポックにわたって、学習された相関構造はどれほど安定的で一貫性があるか？

主な発見

• CorrGANは、スキル確率分布の一致において平均二乗誤差（MSE）5.049×10⁻⁵を達成し、medGANのMSE 7.567×10⁻⁵に比べ33%の改善を示した。
• 生成データと元のスキル共起行列間の相関は、訓練に伴い着実に向上し、1400エポックにわたって相関指標が上昇した。
• 知覚的評価では、MNISTベースのモデルから生成された画像の69%がSVMによって正しく分類された。これは、高い現実性を示している。
• 確率散布図における理想のy=x直線からの偏差が低く抑えられていることから、合成スキルベクトルがジョイント特徴依存関係を効果的に保持していたことが裏付けられた。
• 相関ニューラルネットワークの使用により、離散データにおける複雑なスキル間関係を捉え・再現する能力が著しく向上した。
• 本モデルはテスト済みデータセットを超えて一般化可能であり、教育、地域、組織などの追加プロファイル属性を条件として追加することも可能である。