[논문 리뷰] Submodular Combinatorial Information Measures with Applications in Machine Learning

Rishabh Iyer, Ninad Khargonkar외 2명|arXiv (Cornell University)|2020. 06. 27.

Complexity and Algorithms in Graphs참고 문헌 46인용 수 15

한 줄 요약

이 논문은 하위모듈러 함수를 사용하여 엔트로피와 상호정보량과 같은 고전적인 정보이론적 양을 일반화하는 하위모듈러 조합 정보 측정법을 소개한다. 비음성 조건이 만족될 경우, 하위모듈러 상호정보량이 하위모듈러성을 가지며, 데이터 요약, 클러스터링, 스케일러블 알고리즘을 통한 내성적 분할에 대한 효율적인 최적화를 가능하게 한다. 이 알고리즘은 근사 보장을 제공한다.

ABSTRACT

Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that there is a strong connection between these entropic quantities and submodularity since entropy over a set of random variables is submodular. In this paper, we study combinatorial information measures that generalize independence, (conditional) entropy, (conditional) mutual information, and total correlation defined over sets of (not necessarily random) variables. These measures strictly generalize the corresponding entropic measures since they are all parameterized via submodular functions that themselves strictly generalize entropy. Critically, we show that, unlike entropic mutual information in general, the submodular mutual information is actually submodular in one argument, holding the other fixed, for a large class of submodular functions whose third-order partial derivatives satisfy a non-negativity property. This turns out to include a number of practically useful cases such as the facility location and set-cover functions. We study specific instantiations of the submodular information measures on these, as well as the probabilistic coverage, graph-cut, and saturated coverage functions, and see that they all have mathematically intuitive and practically useful expressions. Regarding applications, we connect the maximization of submodular (conditional) mutual information to problems such as mutual-information-based, query-based, and privacy-preserving summarization -- and we connect optimizing the multi-set submodular mutual information to clustering and robust partitioning.

연구 동기 및 목표

• 하위모듈러 함수를 사용하여 고전적인 정보이론적 측정법(엔트로피, 상호정보량)을 조합적 환경으로 일반화하기.
• 하위모듈러 상호정보량이 하위모듈러성이 되는 조건을 확립하여 효율적인 최적화를 가능하게 하기.
• 쿼리 기반 및 개인정보 보호 요건을 충족하는 요약에 적합한 하위모듈러(조건부) 상호정보량을 최대화하기 위한 최적화 프레임워크 개발.
• 다중집합 하위모듈러 상호정보량을 클러스터링 및 내성적 분할에 적용하여 다양성과 최악의 성능 보장을 보장하기.

제안 방법

• 하위모듈러 함수를 통한 정보 측정법의 일반화를 제안하며, 하위모듈러 엔트로피, 상호정보량, 조건부 상호정보량을 정의한다.
• 하위모듈러 상호정보량의 하위모듈러성을 보장하기 위해 두 번째 차수의 초모듈러 함수(비음성 제3차 편도함수) 개념을 도입한다.
• 기수 및 하위모듈러 제약 조건을 고려한 하위모듈러 상호정보량 최대화를 위한 제약 최적화 프레임워크를 개발한다.
• 하위모듈러 허밍 거리 측정법을 하위모듈러 정보 거리의 대체 측정법으로 활용하여 다항식 시간 근사 최소화를 가능하게 한다.
• 실세계 문제에 프레임워크를 적용: 쿼리 기반 요약, 개인정보 보호 데이터 선택, 다중집합 상호정보량을 통한 내성적 클러스터링.
• 이론적 근사 보장을 확보하기 위해 제약 하위모듈러 최대화 문제를 해결하기 위해 SCSK(하위모듈러 기수 및 하위모듈러 캐리어) 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 다른 변수가 고정되어 있을 때, 하위모듈러 상호정보량이 어떤 조건에서 한 개의 변수에 대해 하위모듈러성을 가지는가?
• RQ2 기수 및 하위모듈러 제약 조건 하에서 하위모듈러 상호정보량을 어떻게 효율적으로 최적화할 수 있는가?
• RQ3 하위모듈러 상호정보량을 사용하여 내성적 분할과 다양한 클러스터링을 모델링할 수 있는가?
• RQ4 랜덤 변수를 초월하여 하위모듈러 정보 측정법은 고전적인 정보이론적 양을 어떻게 일반화하는가?
• RQ5 하위모듈러 허밍 거리 측정법을 사용해 하위모듈러 정보 거리를 추정할 경우, 근사 품질은 어떠한가?

주요 결과

• 함수가 두 번째 차수의 초모듈러 함수일 경우(제3차 편도함수가 비음성일 경우), 하위모듈러 상호정보량은 한 변수에 대해 하위모듈러성을 가진다.
• 하위모듈러 허밍 거리 측정법은 하위모듈러 정보 거리에 대해 (1−κf)-근사값을 제공하며, 이는 다항식 시간 최소화를 가능하게 한다.
• 하위모듈러 상호정보량을 최대화하면 내성적 분할이 가능해지며, 이는 여러 집합에 걸친 최소 커버리지의 최대화를 의미한다.
• 다중집합 상호정보량 목적함수는 다수의 분할에 걸쳐 최소 성능을 최대화하는 내성적 최적화 문제와 동일하다.
• 쿼리 기반 및 개인정보 보호 요약에 대해 하위모듈러 상호정보량 최대화를 통해 효율적이고 확장 가능한 최적화를 가능하게 하는 프레임워크를 제공한다.
• 제안된 최적화 프레임워크는 제약 하위모듈러 최대화 문제에 대해 SCSK 프레임워크를 활용하여 이론적 근사 보장을 달성한다.