[論文レビュー] Airline Passenger Name Record Generation using Generative Adversarial Networks

Alejandro Mottini, Alix Lhéritier+1 more|arXiv (Cornell University)|Jul 17, 2018

Topic Modeling参考文献 22被引用数 32

ひとこと要約

本稿では、カテゴリカル特徴量埋め込みとCross-Netアーキテクチャを組み合わせたCramér GANベースのフレームワークを提案し、数値、カテゴリカル、欠損値が混在する実際の乗客名義記録（PNRs）を合成する。この手法により、実データの分布と一致する高精度な合成PNRsが生成され、訓練サンプルを記憶することなく、クライアントセグメンテーションや国籍予測のための下流分類モデルの有効な訓練が可能になる。

ABSTRACT

Passenger Name Records (PNRs) are at the heart of the travel industry. Created when an itinerary is booked, they contain travel and passenger information. It is usual for airlines and other actors in the industry to inter-exchange and access each other's PNR, creating the challenge of using them without infringing data ownership laws. To address this difficulty, we propose a method to generate realistic synthetic PNRs using Generative Adversarial Networks (GANs). Unlike other GAN applications, PNRs consist of categorical and numerical features with missing/NaN values, which makes the use of GANs challenging. We propose a solution based on Cramér GANs, categorical feature embedding and a Cross-Net architecture. The method was tested on a real PNR dataset, and evaluated in terms of distribution matching, memorization, and performance of predictive models for two real business problems: client segmentation and passenger nationality prediction. Results show that the generated data matches well with the real PNRs without memorizing them, and that it can be used to train models for real business applications.

研究の動機と目的

• GDPRなどのプライバシー規制による航空会社PNRデータの共有の難しさに対処する。
• 実データの統計的・構造的性質を保持するが、現実のデータに類似した合成PNRsを生成する生成モデルを開発する。
• 旅行業界におけるビジネスインテリジェンスモデルの訓練に、法的かつ倫理的な観点から合成データを活用できるようにする。
• 分布メトリクスに加え、下流アプリケーションの性能評価を通しても合成データの質を評価する。
• 合成PNRsが、クライアントセグメンテーションや国籍予測タスクにおける実データの代替として、効果的に使用可能であることを実証する。

提案手法

• PNRsの非ガウス分布および混合型特徴量を扱うために、標準GANより安定性の高いCramér GANを採用する。
• 航空会社、国、旅行クラスなどのカテゴリカル特徴量を、密なベクトル表現に変換するための埋め込み層を用いる。
• 生成器と識別器にCross-Netアーキテクチャを統合し、全結合層よりも特徴量間の相互作用をより効果的にモデル化する。
• 前向き伝播ネットワークとCross-Netsを組み合わせたハイブリッドアーキテクチャを採用し、表形式のPNRデータにおける表現学習を向上させる。
• 生成サンプルと実データの類似度を評価するために、ポイントワイズのジェンセン＝シャノン発散分解を用いる。
• 下流分類タスクを通じてモデル性能を検証する：合成データで訓練したランダムフォレストモデルを、実データのテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、実PNRsの統計的分布を保持すると同時に、訓練データを記憶しない合成PNRsを生成できるか？
• RQ2 合成PNRsは、クライアントセグメンテーションや国籍予測といった実ビジネスアプリケーションの分類モデルの訓練に、どの程度効果的に使用できるか？
• RQ3 アーキテクチャの選択（例：埋め込み vs. 数値符号化、Cross-Net vs. 全結合層、Cramér GAN vs. WGAN）が、生成されたPNRsの品質に与える影響はいかほどか？
• RQ4 特徴量の分布および特徴量間の依存関係において、合成データが実データをどの程度正確に模倣しているか？
• RQ5 合成データは、生産パイプラインの訓練およびテストに使用するための法的かつ倫理的な代替手段として利用可能か？

主な発見

• CrGAN-Cnetモデルが生成する合成PNRsは、実データ上でクライアントセグメンテーションで0.92、国籍予測で0.71の分類精度を達成し、優れた一般化能力を示している。
• KS検定のp値が0.96であり、ベイジアン・ウィルコクソン検定の後方確率信頼区間が[0.235, 0.245]であるため、モデルが訓練データを記憶していないことが確認された。
• CrGAN-Cnetモデルは他のベースラインを上回り、実データ対生成データ分類器の精度が0.69に達した。これはWGAN-FC（0.75）やWGAN-Num（0.93）を著しく上回っている。
• カテゴリカル特徴量に数値符号化（CrGAN-Num）を用いた場合、性能が最も悪く（0.89）となり、カテゴリカル特徴量の適切な埋め込みの重要性が浮き彫りになった。
• Cross-Netアーキテクチャは、全結合ネットワークよりも性能を向上させており、実データ対生成データ分類器の精度がCrGAN-FCの0.73から0.69に低下した。
• この設定ではCramér GANがWGANを上回った。これは、Cramér距離が混合型特徴量と欠損値を含む表形式のPNRデータに適していることを示唆している。