[논문 리뷰] Semantic Information G Theory and Logical Bayesian Inference for Machine Learning

Chenguang Lu|arXiv (Cornell University)|2018. 09. 03.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 고차원 데이터와 변화하는 데이터 분포를 가진 다중 레이블 기계학습 문제를 해결하기 위해 의미 정보 G 이론과 논리적 베이지안 추론(LBI)을 도입한다. 전통적인 우도 함수 대신 의미 함수를 의미 채널 프레임워크에 통합함으로써 LBI는 재학습이 필요 없이 각 레이블에 대해 독립적이고 최적화된 학습을 가능하게 하며, 채널 매칭(CM) 알고리즘은 가우시안 3클래스 문제에서 2~3회 반복 내에 99% 이상의 상호정보량을 달성하고, 불균형한 혼합 모델에서의 EM 수렴을 향상시킨다.

ABSTRACT

An important problem with machine learning is that when label number n>2, it is very difficult to construct and optimize a group of learning functions, and we wish that optimized learning functions are still useful when prior distribution P(x) (where x is an instance) is changed. To resolve this problem, the semantic information G theory, Logical Bayesian Inference (LBI), and a group of Channel Matching (CM) algorithms together form a systematic solution. A semantic channel in the G theory consists of a group of truth functions or membership functions. In comparison with likelihood functions, Bayesian posteriors, and Logistic functions used by popular methods, membership functions can be more conveniently used as learning functions without the above problem. In Logical Bayesian Inference (LBI), every label's learning is independent. For Multilabel learning, we can directly obtain a group of optimized membership functions from a big enough sample with labels, without preparing different samples for different labels. A group of Channel Matching (CM) algorithms is developed for machine learning. For the Maximum Mutual Information (MMI) classification of three classes with Gaussian distributions on a two-dimensional feature space, 2-3 iterations can make mutual information between three classes and three labels surpass 99% of the MMI for most initial partitions. For mixture models, the Expectation-Maximization (EM) algorithm is improved and becomes the CM-EM algorithm, which can outperform the EM algorithm when mixture ratios are imbalanced, or local convergence exists. The CM iteration algorithm needs to combine neural networks for MMI classifications on high-dimensional feature spaces. LBI needs further studies for the unification of statistics and logic.

연구 동기 및 목표

• 레이블 수가 두 개를 초과할 때 및 사전 분포 P(x)가 변화할 때 학습 함수 최적화의 어려움을 해결한다.
• 사전 분포가 이동할 경우 재학습이 필요한 표준 방법(예: 로지스틱 회귀, 베이지안 추론)의 한계를 극복한다.
• 다양한 데이터 분포에서도 최적화된 함수를 유지하는 통합된 다중 레이블 학습 프레임워크를 개발한다.
• 불균형한 구성 요소나 국소 최적화점이 있는 혼합 모델에서 EM 알고리즘의 수렴성과 성능을 향상시킨다.
• 신경망과 채널 매칭 알고리즘을 통합하여 고차원 공간에서 효율적이고 확장 가능한 학습을 가능하게 한다.

제안 방법

• 의미 채널 프레임워크에서 우도 함수 대신 진리 또는 소속 함수를 사용하는 의미 정보 G 이론을 제안한다.
• 각 레이블의 학습이 독립적이며, 단일 레이블 데이터셋에서 직접 최적화가 가능한 논리적 베이지안 추론(LBI)을 도입한다.
• 소속 함수를 사용하여 반복적으로 레이블과 클래스 간의 상호정보량을 최대화하는 채널 매칭(CM) 알고리즘을 개발한다.
• MMI 분류에 CM을 적용하여 3클래스 가우시안 문제에서 이론적 MMI의 99% 이상을 2~3회 반복 내에 달성한다.
• 표준 EM 알고리즘을 개선한 CM-EM 알고리즘을 제안하여 불균형한 혼합 비율이나 국소 수렴 문제에서 표준 EM보다 뛰어난 성능을 보인다.
• 고차원 특징 공간 분류를 위해 CM 반복 과정을 신경망과 통합함으로써 복잡한 데이터로의 적용 가능성을 확장한다.

실험 결과

연구 질문

• RQ1 의미 채널 프레임워크 내에서 소속 함수가 우도 함수를 대체하여 사전 분포가 변화하는 상황에서도 안정적인 학습을 가능하게 할 수 있는가?
• RQ2 LBI를 통한 독립적 레이블 학습이 다중 레이블 환경에서 각 레이블별 별도의 학습 샘플이 필요 없도록 할 수 있는가?
• RQ3 채널 매칭 알고리즘이 다중 클래스 분류에서 몇 번의 반복 내에 근사 최적의 상호정보량을 달성할 수 있는가?
• RQ4 CM-EM 알고리즘이 불균형하거나 잘못 초기화된 혼합 모델에서 표준 EM보다 수렴성과 성능을 향상시키는가?
• RQ5 CM를 딥 뉴럴 네트워크와 통합함으로써 이 방법이 고차원 특징 공간으로 확장 가능한가?

주요 결과

• 2차원에서의 3클래스 가우시안 분류 문제에서, CM 알고리즘은 대부분의 초기 분할에서 2~3회 반복 내에 이론적 최대 상호정보량(MMI)의 99% 이상을 초과하는 상호정보량을 달성한다.
• 불균형한 구성 요소 비율이나 강한 국소 수렴 함정이 있는 혼합 모델에서 CM-EM 알고리즘이 표준 EM보다 뛰어난 성능을 보인다.
• G 이론 프레임워크 내에서의 소속 함수는 사전 분포 P(x)가 변화하더라도 최적화된 학습 함수가 유효하게 유지됨을 가능하게 한다.
• LBI를 통해 별도의 레이블별 샘플이 필요 없이 단일 레이블 데이터셋에서 전체 소속 함수 집합을 직접 최적화할 수 있다.
• CM-EM 알고리즘은 도전적인 혼합 모델 시나리오에서 더 뛰어난 안정성과 수렴 속도를 보여준다.
• CM와 신경망의 통합은 고차원 특징 공간에서 효과적인 MMI 분류를 가능하게 하여 이론의 실용적 적용 범위를 넓힌다.