[논문 리뷰] Submodularity In Machine Learning and Artificial Intelligence

Jeff Bilmes|arXiv (Cornell University)|2022. 01. 31.

Rough Sets and Fuzzy Logic인용 수 14

한 줄 요약

이 논문은 기계학습 및 인공지능에서의 부분모듈성에 대한 종합적인 서베이를 제공하며, 부분모듈성 함수가 데이터 요약, 특징 선택, 활성 학습과 같은 이산 문제에 대한 효율적 최적화를 가능하게 한다는 점을 보여준다. 부분모듈성 함수는 코어셋 구성, 구조적 노름 설계, 확률적 모델링 향상에 효과적인 도구로 기능하며, 최대화, 최소화, 연속적 확장에 대한 이론적 기초와 실용적 알고리즘을 제시한다.

ABSTRACT

In this manuscript, we offer a gentle review of submodularity and supermodularity and their properties. We offer a plethora of submodular definitions; a full description of a number of example submodular functions and their generalizations; example discrete constraints; a discussion of basic algorithms for maximization, minimization, and other operations; a brief overview of continuous submodular extensions; and some historical applications. We then turn to how submodularity is useful in machine learning and artificial intelligence. This includes summarization, and we offer a complete account of the differences between and commonalities amongst sketching, coresets, extractive and abstractive summarization in NLP, data distillation and condensation, and data subset selection and feature selection. We discuss a variety of ways to produce a submodular function useful for machine learning, including heuristic hand-crafting, learning or approximately learning a submodular function or aspects thereof, and some advantages of the use of a submodular function as a coreset producer. We discuss submodular combinatorial information functions, and how submodularity is useful for clustering, data partitioning, parallel machine learning, active and semi-supervised learning, probabilistic modeling, and structured norms and loss functions.

연구 동기 및 목표

• 기계학습 연구자들을 대상으로 부분모듈성과 초부분모듈성에 대한 통합적이고 접근하기 쉬운 리뷰를 제공하기 위해.
• 기계학습에서 조합 최적화 문제를 해결하기 위해, 완전 탐색 방법으로는 비현실적인 조합적 탐색 공간을 다루기 위해.
• 다양한 기계학습 목표, 예를 들어 요약 및 특징 선택을 모델링하기 위해 부분모듈성 함수를 구성하거나 학습시킬 수 있음을 보여주기 위해.
• 기계학습에서 코어셋 구성, 군집화, 구조적 정규화에 대해 부분모듈성을 원칙적인 프레임워크로 정립하기 위해.
• 부분모듈성 함수의 이론적 성질과 활성 학습, 확률적 모델링, 딥 러닝 등 실용적 응용 간의 다리를 놓기 위해.

제안 방법

• 부분모듈성 함수를 날카운 상한 및 하한 모듈러 근사로 봉인하기 위해 모듈러 근사 프레임워크를 사용하여 평균장 유사 추론을 가능하게 한다.
• 이산 부분모듈성 함수를 볼록 연속 함수로 변환하기 위해 로바슈 확장을 적용하여 미분 가능한 최적화를 가능하게 한다.
• 수동으로 설계된 함수(예: 엔트로피, 커버리지) 또는 데이터에서 학습하거나 조합 정보 함수를 사용하여 부분모듈성 함수를 구성하는 것을 제안한다.
• 대규모 기계학습 문제, 예를 들어 데이터 서브셋 선택 및 신경망 아키텍처 탐색에서의 스케일러블 최적화를 위해 연속 부분모듈성 확장을 활용한다.
• 구조적 노름을 $\|x\|_f = \breve{f}(|x|)$ 방식으로 도입하며, 여기서 $\breve{f}$ 는 부분모듈성 함수 $f$ 의 로바슈 확장이다. 이는 볼록성, 희소성, 구조적 정규화를 동시에 확보하는 정규화 기법을 제공한다.
• 부분모듈성 함수를 코어셋 생성자로 활용하여, 선택된 부분집합이 모델 성능 측면에서 전체 데이터셋을 충실하게 대표하도록 보장한다.

실험 결과

연구 질문

• RQ1 부분모듈성 함수는 효율적이고 충실한 데이터 요약 및 코어셋 선택 방법을 설계하는 데 어떻게 효과적으로 활용될 수 있는가?
• RQ2 전통적인 볼록 완화 기법에 비해 부분모듈성 함수를 특징 선택 및 정규화에 사용할 경우 이론적 및 실용적 이점은 무엇인가?
• RQ3 복잡한 기계학습 목표를 모델링하기 위해 부분모듈성 함수를 데이터에서 학습하거나 근사화할 수 있는 방법은 무엇인가?
• RQ4 연속 부분모듈성 확장은 활성 학습 및 신경망 아키텍처 탐색과 같은 이산 기계학습 문제에서 스케일러블 최적화를 어떻게 가능하게 하는가?
• RQ5 부분모듈성 함수를 사용하여 기계학습 모델의 일반화 능력과 희소성을 향상시키는 새로운 볼록 구조적 노름을 정의할 수 있는가?

주요 결과

• 부분모듈성 함수는 데이터 크기를 줄이면서도 모델 성능을 유지하는 코어셋을 원칙적인 방식으로 구성할 수 있으며, 근사 품질에 대한 이론적 보장을 제공한다.
• 부분모듈성 함수의 로바슈 확장은 볼록 함수를 생성하여, 이는 볼록 구조적 노름의 기초가 된다.
• 부분모듈성 기반 코어셋 구성은 데이터 정제 및 특징 선택에서 랜덤 샘플링보다 뛰어난 성능을 보이며, 다양하고 대표적인 샘플을 잘 포괄한다.
• 부분모듈성 함수는 데이터에서 학습하거나 근사화할 수 있어, 요약 및 활성 학습을 위한 데이터 기반 목표 설계를 가능하게 한다.
• 부분모듈성 함수에서 유도된 구조적 노름은 그룹 라소를 일반화하며, 협동 작용 기반의 그룹 희소성 페널티를 제공하여 모델의 해석 가능성과 성능을 향상시킨다.
• 부분모듈성 최적화를 통해 감소 수익의 원리를 활용하여 확률적 모델에서 효율적인 MAP 추론을 가능하게 하여 지수적 복잡도를 다룰 수 있는 최적화로 감소시킨다.