[論文レビュー] Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model

Fariba Yousefi, Zhenwen Dai+2 more|arXiv (Cornell University)|Jun 30, 2016

Machine Learning in Healthcare参考文献 5被引用数 4

ひとこと要約

本論文では、新しいカーネル定式化を用いて潜在空間を共有部分空間と個人専用部分空間に分割することで、不均衡データにおける教師なし学習に対処する構造統合潜在変数モデル（SCLVM）を提案する。この手法により、個人専用空間でカテゴリ固有の分散を分離し、共有空間で共通パターンを保持することで、マイノリティクラスの有効なモデリングが可能となり、分類タスクにおいてF1スコア0.482 ± 0.015を達成した。

ABSTRACT

Unsupervised learning on imbalanced data is challenging because, when given imbalanced data, current model is often dominated by the major category and ignores the categories with small amount of data. We develop a latent variable model that can cope with imbalanced data by dividing the latent space into a shared space and a private space. Based on Gaussian Process Latent Variable Models, we propose a new kernel formulation that enables the separation of latent space and derives an efficient variational inference method. The performance of our model is demonstrated with an imbalanced medical image dataset.

研究の動機と目的

• 医療画像分野において、疾患の形態など陽性例（例：病変）が稀であるなど、極めて不均衡なデータセットにおける教師なし学習の課題に対処すること。
• 標準的なモデルが多数クラスに支配され、マイノリティカテゴリの表現が不十分になるという限界を克服すること。
• 統一されたフレームワーク内で共有されるパターンとカテゴリ固有の特徴を同時に学習する確率的潜在変数モデルを構築すること。
• SVMのような判別モデルとは異なり、クラスに関する事後分布推定を含む、整合的な確率的推論を可能にすること。

提案手法

• すべてのカテゴリに共通するパターンを捉える共有部分空間（Qs）と、カテゴリ固有の分散を扱う個人専用部分空間（Qp）に潜在空間を分割する。
• 合成カーネル関数を設計：k = ks(xs, xs′) + kp(xp, c_x; xp′, c_x′) ここで、kpは異なるカテゴリ間でゼロとなり、各クラス内では基本カーネルk′を用いる。
• 効率的な変分推論を可能にするために、誘導入力zとラベルczを用いたスパースガウス過程近似を適用する。
• 潜在変数とカーネルハイパーパrameterの効率的最適化を可能にする、対数マージナル尤度の閉形式下界を導出する。
• 変分推論と近似事後分布q(x)を用いて潜在表現を周辺化し、証拠下界（ELBO）の最適化を実行する。
• 収束するまで反復更新により共有部分空間および個人専用部分空間の表現とカーネルパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデルは、多数クラスに支配されないよう、不均衡データから効果的に学習できるか？
• RQ2 共有部分空間と個人専用部分空間をどのように統合的にモデリングすることで、共通構造とカテゴリ固有の特徴を両立できるか？
• RQ3 提案されたカーネル定式化は、標準的なGPLVMと比較してマイノリティクラスの表現学習を改善できるか？
• RQ4 SVMのような後処理モデルに依存せず、整合的な確率的分類出力を提供できるか？
• RQ5 本モデルは、現実の不均衡な医療画像データにおける生成的および判別的タスクの両方で、どのように性能を発揮するか？

主な発見

• SCLVMモデルは、全146,562枚のパッチのうち陽性ミトーシスパッチがたった550枚という極めて不均衡なデータからも効果的に学習でき、分類タスクでF1スコア0.482 ± 0.015を達成した。
• 共有部分空間は陽性および陰性細胞に共通する構造的パターンを捉え、個人専用部分空間は明確にクラス固有の特徴を分離しており、潜在空間の可視化から明らかである。
• 訓練済みSCLVMモデルから生成されたサンプルは、陽性および陰性クラスの形態的特徴を明確に反映しており、効果的な生成能力を示している。
• 比較のための単純な下流SVMを用いても、SCLVMはBGPLVM（F1: 0.447 ± 0.014）およびDGPLVM（F1: 0.390 ± 0.011）を上回る性能を発揮した。
• BGPLVMおよびDGPLVMとは異なり、SCLVMはSVMのような後処理を必要とせず、整合的な確率的フレームワークを提供している。
• 本モデルは安定して収束し、個人専用部分空間機構により、マイノリティクラスとマジョリティクラスの表現学習のバランスを効果的にとっている。