[논문 리뷰] Gaussian Conditional Random Fields for Classification

Andrija Petrović, Mladen Nikolić외 2명|arXiv (Cornell University)|2019. 01. 31.

Gaussian Processes and Bayesian Inference인용 수 2

한 줄 요약

이 논문은 이진 분류를 위한 가우시안 조건부 랜덤 필드(GCRFBC)를 제안한다. 이는 이산 출력 간의 의존성을 연속 잠재 변수를 통해 모델링하여 추론을 가능하게 하는 구조화된 분류 모델이다. 잠재 GCRF 구조를 활용함으로써 비구조화된 모델보다 예측 성능을 향상시키며, 두 가지 변종—GCRFBCb(변분 근사와 함께 경험 베이즈)와 GCRFBCnb(MAP 추정)—는 특히 출력 분산이 높을 경우 더 뛰어난 AUC와 로그우도를 보인다.

ABSTRACT

Gaussian conditional random fields (GCRF) are a well-known used structured model for continuous outputs that uses multiple unstructured predictors to form its features and at the same time exploits dependence structure among outputs, which is provided by a similarity measure. In this paper, a Gaussian conditional random fields model for structured binary classification (GCRFBC) is proposed. The model is applicable to classification problems with undirected graphs, intractable for standard classification CRFs. The model representation of GCRFBC is extended by latent variables which yield some appealing properties. Thanks to the GCRF latent structure, the model becomes tractable, efficient and open to improvements previously applied to GCRF regression models. In addition, the model allows for reduction of noise, that might appear if structures were defined directly between discrete outputs. Additionally, two different forms of the algorithm are presented: GCRFBCb (GCRGBC - Bayesian) and GCRFBCnb (GCRFBC - non Bayesian). The extended method of local variational approximation of sigmoid function is used for solving empirical Bayes in Bayesian GCRFBCb variant, whereas MAP value of latent variables is the basis for learning and inference in the GCRFBCnb variant. The inference in GCRFBCb is solved by Newton-Cotes formulas for one-dimensional integration. Both models are evaluated on synthetic data and real-world data. It was shown that both models achieve better prediction performance than unstructured predictors. Furthermore, computational and memory complexity is evaluated. Advantages and disadvantages of the proposed GCRFBCb and GCRFBCnb are discussed in detail.

연구 동기 및 목표

• 방향성 그래프를 사용한 구조화된 이진 분류에서 표준 CRF의 추론 비가역성 문제를 해결하기 위해.
• 출력 간 의존성을 인코딩하는 연속 잠재 변수를 도입함으로써 구조화된 분류에서 효율적이고 정확한 추론을 가능하게 하기 위해.
• GCRF 회귀 기법을 이진 분류에 확장하여 강인성과 성능을 향상시키기 위해.
• 잠재 변수에 대한 경험 베이즈와 MAP 추정이라는 두 가지 추론 전략을 비교하기 위해.

제안 방법

• GCRFBC를 제안한다. 이는 이산 출력이 연속 잠재 변수로부터 유도된 GCRF로부터 조건부 독립이 되는 구조화된 모델이다.
• 잠재 GCRF 구조를 통해 출력 간 의존성을 간접적으로 표현함으로써, 직접적인 이산 출력 상관관계 모델링을 피한다.
• GCRFBCb에서 효율적인 경험 베이즈 최적화를 위해 시그모이드 함수에 국소 변분 근사를 적용한다.
• GCRFBCb에서 일변도 적분을 위해 뉴턴-코테스 정적분을 적용하여 주변 우도를 계산한다.
• GCRFBCnb에서 학습 및 추론을 위해 잠재 변수의 MAP 추정을 사용하여 계산을 단순화한다.
• 잠재 공간을 다변량 정규분포로 모델링함으로써 기존 GCRF 회귀 기법을 분류에 확장한다.

실험 결과

연구 질문

• RQ1 잠재 GCRF 구조는 추론이 비가역적인 구조화된 이진 분류 문제를 효율적이고 실행 가능한 문제로 만들 수 있는가?
• RQ2 잠재 변수에 대한 경험 베이즈와 MAP 추정 방식은 예측 성능와 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 직접적인 이산 출력 의존성 모델링에 비해 잠재 GCRF 모델은 노이즈를 얼마나 줄일 수 있는가?
• RQ4 잠재 변수의 분산이 GCRFBCb와 GCRFBCnb 간의 성능 격차에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 구조화된 이진 분류에서 비구조화된 예측기보다 성능을 뛰어나게 할 수 있는가?

주요 결과

• 잠재 변수 분산의 노름이 클 경우, GCRFBCb가 GCRFBCnb보다 유의미하게 더 높은 AUC와 조건부 로그우도의 하한을 달성한다.
• 잠재 변수 분산이 낮을 경우, 두 모델의 성능이 동일하게 나타나, 저분산 영역에서는 MAP 근사가 충분함을 시사한다.
• GCRFBCb의 계산 및 메모리 복잡도는 인스턴스 수에 따라 증가하는 변분 매개변수로 인해 높아지며, 복잡도가 O(TMN³)로 증가한다.
• GCRFBCnb는 표준 GCRF와 동일한 O(TN³) 복잡도를 유지하므로, 대규모 또는 고인스턴스 환경에서 더 효율적이다.
• 모든 시뮬레이션 데이터 설정에서 두 모델이 비구조화된 예측기보다 AUC와 로그우도 측면에서 일관되게 뛰어난 성능을 보였다.
• 잠재 분산이 낮을 경우 GCRFBCnb가 정확성과 복잡도의 균형을 더 잘 유지하며, 분산이 높을 경우 GCRFBCb가 유리하다.