[논문 리뷰] A submodular-supermodular procedure with applications to discriminative structure learning

Mukund Narasimhan, Jeff Bilmes|arXiv (Cornell University)|2012. 07. 04.

Complexity and Algorithms in Graphs참고 문헌 3인용 수 40

한 줄 요약

이 논문은 차등(submodular-supermodular procedure, SSP)을 제안하며, 두 하위모듈러 함수의 차를 최소화하기 위해 볼록-오목 절차(concave-convex procedure, CCCP)의 변환 형태를 활용한다. 이 방법은 복잡도 제약 조건 하에서 분류적 그래픽 모델과 특징 선택을 효율적으로 학습할 수 있게 하며, 합성 데이터에서 생성 모델 대비 분류 능력 측정 지표인 EAR 지표에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

In this paper, we present an algorithm for minimizing the difference between two submodular functions using a variational framework which is based on (an extension of) the concave-convex procedure [17]. Because several commonly used metrics in machine learning, like mutual information and conditional mutual information, are submodular, the problem of minimizing the difference of two submodular problems arises naturally in many machine learning applications. Two such applications are learning discriminatively structured graphical models and feature selection under computational complexity constraints. A commonly used metric for measuring discriminative capacity is the EAR measure which is the difference between two conditional mutual information terms. Feature selection taking complexity considerations into account also fall into this framework because both the information that a set of features provide and the cost of computing and using the features can be modeled as submodular functions. This problem is NP-hard, and we give a polynomial time heuristic for it. We also present results on synthetic data to show that classifiers based on discriminative graphical models using this algorithm can significantly outperform classifiers based on generative graphical models.

연구 동기 및 목표

• 기계 학습 응용 분야에서 발생하는 두 하위모듈러 함수의 차를 최소화하기 위한 다항식 시간 히우리스틱 개발.
• 계산 제약 조건 하에서 분류적 그래픽 모델 학습과 특징 선택 문제의 NP-난이도를 다루기.
• 서로 다른 상호정보량 및 조건부 상호정보량과 같은 본질적으로 하위모듈러 함수인 지표에 적용 가능한 확장 가능한 최적화 프레임워크 제공.
• 생성 모델을 능가하는 분류 성능 향상을 위해 분류적 구조를 학습함으로써 달성.
• 측정 가능한 분류 능력 향상으로서의 효과를 합성 데이터에서 입증.

제안 방법

• 알고리즘은 두 하위모듈러 함수의 차를 최소화하기 위해 볼록-오목 절차(CCCP)의 확장된 변환 형태를 기반으로 한 변분 공식을 사용한다.
• 반복적으로 차의 상위 볼록 근사치를 최적화하며, 하위모듈러 함수의 성질을 활용해 계산 가능하게 업데이트한다.
• 서로 다른 상호정보량과 계산 비용이 모두 하위모듈러 함수로 모델링 가능하다는 점을 활용하여 공동 최적화를 가능하게 한다.
• 조건부 상호정보량 두 개의 차로 정의된 EAR 측정 지표를 최대화함으로써 분류적 그래픽 모델을 학습하는 데 절차를 적용한다.
• NP-난이도 문제의 성격을 다루기 위해 근사 전략을 채택하여 다항식 시간 복잡도를 확보한다.
• 합성 데이터에서의 실험을 통해 분류적 모델과 생성 모델 간 성능을 비교 검증한다.

실험 결과

연구 질문

• RQ1 기계 학습 응용 분야에서 두 하위모듈러 함수의 차를 최소화하기 위한 다항식 시간 알고리즘을 개발할 수 있는가?
• RQ2 하위모듈러-초모듈러 절차는 생성 모델 대비 분류적 구조 학습에서 얼마나 효과적인가?
• RQ3 하위모듈러 최적화를 통해 특징 유용성과 계산 비용을 특징 선택 과정에서 얼마나 잘 균형 잡을 수 있는가?
• RQ4 제안된 방법이 분류 능력의 핵심 측정 지표인 EAR 지표에서 뛰어난 성능을 달성하는가?
• RQ5 이 알고리즘은 이론적 보장을 유지하면서 고차원 문제에 효과적으로 스케일업할 수 있는가?

주요 결과

• 제안된 SSP 알고리즘을 통해 학습된 분류적 그래픽 모델 기반 분류기는 합성 데이터에서 생성 모델 기반 분류기보다 뚜렷이 뛰어난 성능을 보였다.
• 분류 능력 측정 지표로 사용된 EAR 지표는 하위모듈러-초모듈러 최적화 프레임워크를 통해 효과적으로 최대화되었다.
• 이 방법은 복잡도 제약 조건 하에서 NP-난이도를 가진 특징 선택 문제에 대해 정보 수확량과 계산 비용을 균형 잡는 확장 가능한 히우리스틱을 제공한다.
• 알고리즘은 기준 생성 모델 대비 분류 정확도 향상으로써 강력한 경험적 성능을 보였다.
• CCCP의 변분 확장 형태는 하위모듈러 함수의 차를 효과적으로 최소화할 수 있게 하여, 구조 학습 분야에서 새로운 응용 가능성을 열었다.
• 프레임워크는 일반적이며, 유용성과 비용이 모두 하위모듈러 함수로 모델링되는 문제에 적용 가능하다.