[論文レビュー] HexaGAN: Generative Adversarial Nets for Real World Classification

Uiwon Hwang, Dahuin Jung+1 more|arXiv (Cornell University)|Feb 26, 2019

Machine Learning and Data Classification被引用数 14

ひとこと要約

HexaGAN は、欠損データ補完、クラス不均衡、欠損ラベル問題を、すべての問題を欠損情報回復として統一的にモデル化することにより、現実世界の分類において同時に解決する、革新的な生成的敵対ネットワークフレームワークである。6つの特化した GAN コンponent とカスタム損失関数を統合し、補完品質で最高水準の性能を達成し、欠損率が 20% の条件下で、補完性能が最高水準の手法と比較して最大 14% 向上し、F1 スコアが最大 5% 高くなる。

ABSTRACT

Most deep learning classification studies assume clean data. However, when dealing with the real world data, we encounter three problems such as 1) missing data, 2) class imbalance, and 3) missing label problems. These problems undermine the performance of a classifier. Various preprocessing techniques have been proposed to mitigate one of these problems, but an algorithm that assumes and resolves all three problems together has not been proposed yet. In this paper, we propose HexaGAN, a generative adversarial network framework that shows promising classification performance for all three problems. We interpret the three problems from a single perspective to solve them jointly. To enable this, the framework consists of six components, which interact with each other. We also devise novel loss functions corresponding to the architecture. The designed loss functions allow us to achieve state-of-the-art imputation performance, with up to a 14% improvement, and to generate high-quality class-conditional data. We evaluate the classification performance (F1-score) of the proposed method with 20% missingness and confirm up to a 5% improvement in comparison with the performance of combinations of state-of-the-art methods.

研究の動機と目的

• 現実世界の分類における3大課題である欠損データ、クラス不均衡、欠損ラベルを、従来の手法が個別に扱うのではなく、同時に解決すること。
• 誤差伝搬や最適でないデータ処理による性能劣化を引き起こす、段階的処理パイプラインの限界を克服すること。
• すべての3つの問題を「欠損情報回復」という1つの視点からモデル化する統合的ディープ生成フレームワークを構築すること。
• 特にデータが少ない状況下でも、高品質でクラス条件付きのデータ生成と頑健な補完を可能にすること。
• エンド・ツー・エンドで学習可能なシステムとして、生成モデルと識別モデルを統合し、最高水準の分類性能を達成すること。

提案手法

• HexaGAN は6つのニューラルネットワークを採用する：2つの生成器（G_MI は補完用、G_CG はクラス条件付き生成用）、2つの識別器（D_MI は欠損データ用、D_CG は条件付き生成用）、2つの分類器（C はラベル予測用、C' は一貫性用）。
• フレームワークは統一的視点を採用する：欠損特徴、クラス不均衡、欠損ラベルという3つの問題すべてが、再構成すべき「欠損情報」として扱われる。
• 新規損失関数を設計する：再構成損失（R）、敵対的損失（D_x_i と D_y）、交差エントロピー（CE）、これによりすべてのコンponent の共同最適化が可能になる。
• 欠損データ補完は G_MI を用い、ノイズと完全なデータ分布からの学習を活用してマスクされた特徴を埋め込む。
• 条件付き生成（G_CG）は、クラスラベルを条件として完全なデータインスタンスを生成し、少数クラスのオーバーサンプリングを効果的に実現する。
• 半教師あり学習は D_MI と C を通じて達成され、ラベルのないデータを用いて欠損ラベルを予測することで、一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 1つの生成フレームワークが、現実世界の分類における欠損データ補完、クラス不均衡、欠損ラベル問題を同時に解決できるか？
• RQ2 すべての3つの問題を「欠損情報回復」としてモデル化することで、段階的最高水準手法と比較して補完性能と分類性能がどのように向上するか？
• RQ3 特にデータがスパースな状況下で、HexaGAN は高い欠損率下でもどれほど頑健性を保っているか？
• RQ4 敵対的学習による条件付き生成とラベル予測の統合は、個別に処理を行う手法と比較して、より良い一般化性能をもたらすか？
• RQ5 カスタム損失関数は、補完と下流分類の両方の性能向上にどのように寄与しているか？

主な発見

• HexaGAN は、最高水準の手法と比較して、補完性能で最大 14% 向上し、優れたデータ回復品質を示した。
• 20% の欠損率下で、GAIN や SMOTE、TripleGAN といった最高水準手法の段階的組み合わせと比較して、F1 スコアが最大 5% 向上した。
• アブレーションスタディにより、G_MI、G_CG、D_MI の3つのコンponent が顕著に寄与していることが確認され、それぞれを除去すると性能が最大 36% 劣化した。
• クレジットデータセットにおいて、すべての欠損率でベンチマークを上回り、特に高い欠損率（例：50%）下で性能差が顕著に広がり、頑健性が裏付けられた。
• 不均衡データセット（例：クレジット、ブレスト）およびバランスデータセット（例：madelon）の両方で強い性能を維持しており、さまざまなデータ分布に一般化可能であることが示された。
• フレームワークは、いかなる最高水準の分類器ともプラグアンドプレイで統合可能であり、HexaGAN と統合することで、分類器は最高の性能を発揮する。