[論文レビュー] Semantic Information G Theory and Logical Bayesian Inference for Machine Learning

Chenguang Lu|arXiv (Cornell University)|Sep 3, 2018

Machine Learning and Algorithms被引用数 5

ひとこと要約

本論文は、多次元データと変化するデータ分布を伴うマルチラベル機械学習の課題に対処するため、意味的情報G理論と論理的ベイズ推論（LBI）を導入する。従来の尤度関数の代わりに意味関数を意味的チャネルフレームワークで使用することで、再訓練を伴わずに各ラベルごとに独立して最適化された学習が可能となり、チャネルマッチング（CM）アルゴリズムはガウス分布の3クラス問題において2〜3イテレーションで99％以上の相互情報量を達成し、不均衡な混合分布におけるEM収束を改善する。

ABSTRACT

An important problem with machine learning is that when label number n>2, it is very difficult to construct and optimize a group of learning functions, and we wish that optimized learning functions are still useful when prior distribution P(x) (where x is an instance) is changed. To resolve this problem, the semantic information G theory, Logical Bayesian Inference (LBI), and a group of Channel Matching (CM) algorithms together form a systematic solution. A semantic channel in the G theory consists of a group of truth functions or membership functions. In comparison with likelihood functions, Bayesian posteriors, and Logistic functions used by popular methods, membership functions can be more conveniently used as learning functions without the above problem. In Logical Bayesian Inference (LBI), every label's learning is independent. For Multilabel learning, we can directly obtain a group of optimized membership functions from a big enough sample with labels, without preparing different samples for different labels. A group of Channel Matching (CM) algorithms is developed for machine learning. For the Maximum Mutual Information (MMI) classification of three classes with Gaussian distributions on a two-dimensional feature space, 2-3 iterations can make mutual information between three classes and three labels surpass 99% of the MMI for most initial partitions. For mixture models, the Expectation-Maximization (EM) algorithm is improved and becomes the CM-EM algorithm, which can outperform the EM algorithm when mixture ratios are imbalanced, or local convergence exists. The CM iteration algorithm needs to combine neural networks for MMI classifications on high-dimensional feature spaces. LBI needs further studies for the unification of statistics and logic.

研究の動機と目的

• ラベル数が2つを超過する場合および事前分布P(x)が変化する場合に、学習関数の最適化が困難であるという課題に対処する。
• 事前分布のシフトが生じた際に再訓練を要する標準的手法（例：ロジスティック回帰、ベイズ推論）の限界を克服する。
• 変化するデータ分布においても最適化された関数を維持できる統一されたマルチラベル学習フレームワークを構築する。
• 不均衡な成分や局所最適解を有する混合モデルにおけるEMアルゴリズムの収束性および性能を向上させる。
• チャネルマッチングアルゴリズムと統合することで、高次元空間における効率的かつスケーラブルな学習を実現する。

提案手法

• 意味的チャネルフレームワークにおいて尤度関数の代わりに真偽関数またはメンバーシップ関数を用いる意味的情報G理論を提案する。
• 各ラベルの学習が独立であるため、1つのラベル付きデータセットから直接最適化が可能な論理的ベイズ推論（LBI）を導入する。
• メンバーシップ関数を用いてラベルとクラス間の相互情報量を反復的に最大化するためのチャネルマッチング（CM）アルゴリズムを開発する。
• CMを最大相互情報量（MMI）分類に適用し、3クラスのガウス問題において2〜3イテレーションで理論的MMIの99％以上を達成する。
• EMアルゴリズムをCM-EMに拡張し、不均衡な混合比や局所収束の強い状況において、標準EMを上回る性能を発揮する。
• CMイテレーションとニューラルネットワークを統合し、高次元特徴空間における分類に応用可能にする。

実験結果

リサーチクエスチョン

• RQ1 意味的チャネルフレームワークにおけるメンバーシップ関数が、変化する事前分布下でも安定した学習を可能にする尤度関数の代替として機能できるか？
• RQ2 LBIによるラベル独立学習が、マルチラベル設定において各ラベルごとの別々の訓練データの必要性を排除できるか？
• RQ3 チャネルマッチングアルゴリズムが、少数のイテレーションでマルチクラス分類において近似的に最適な相互情報量を達成できるか？
• RQ4 CM-EMアルゴリズムが、不均衡または初期化が不十分な混合モデルにおいて、標準EMよりも収束性および性能を向上させるか？
• RQ5 CMと深層ニューラルネットワークの統合により、高次元特徴空間へのスケーリングが可能になるか？

主な発見

• 2次元の3クラスガウス分類問題において、CMアルゴリズムはほとんどの初期分割から2〜3イテレーションで最大相互情報量（MMI）の99％を超える相互情報量を達成する。
• 不均衡な混合成分比や強い局所収束のトラップを有する混合モデルにおいて、CM-EMアルゴリズムは標準EMを上回る性能を示す。
• G理論フレームワークにおけるメンバーシップ関数のおかげで、事前分布P(x)が変化しても最適化された学習関数が有効なまま維持される。
• LBIにより、ラベルごとの別々のサンプルを必要とせず、1つのラベル付きデータセットから全メンバーシップ関数を直接最適化できる。
• CM-EMアルゴリズムは、挑戦的な混合モデルシナリオにおいて、安定性と収束速度の両方を向上させる。
• CMとニューラルネットワークの統合により、高次元特徴空間における有効なMMI分類が可能となり、本手法の実用的適用範囲が拡張される。