[논문 리뷰] Provable Non-Convex Optimization and Algorithm Validation via Submodularity

Yatao Bian|arXiv (Cornell University)|2019. 01. 01.

Complexity and Algorithms in Graphs참고 문헌 87인용 수 2

한 줄 요약

이 학위논문은 증명 가능 비볼록 최적화를 위한 프레임워크로 연속적 서브모듈라리티를 제안하며, 비볼록, 비볼록 함수의 최대화를 위한 이론적 보장을 갖춘 효율적인 근사 알고리즘을 가능하게 한다. 또한, 정보이론적 알고리즘 검증을 적용하여 MaxCut 알고리즘을 분석함으로써 알고리즘의 강건성 차이를 알고리즘 정보 내용을 통해 드러낸다.

ABSTRACT

Submodularity is one of the most well-studied properties of problem classes in combinatorial optimization and many applications of machine learning and data mining, with strong implications for guaranteed optimization. In this thesis, we investigate the role of submodularity in provable non-convex optimization and validation of algorithms. A profound understanding which classes of functions can be tractably optimized remains a central challenge for non-convex optimization. By advancing the notion of submodularity to continuous domains (termed "continuous submodularity"), we characterize a class of generally non-convex and non-concave functions -- continuous submodular functions, and derive algorithms for approximately maximizing them with strong approximation guarantees. Meanwhile, continuous submodularity captures a wide spectrum of applications, ranging from revenue maximization with general marketing strategies, MAP inference for DPPs to mean field inference for probabilistic log-submodular models, which renders it as a valuable domain knowledge in optimizing this class of objectives. Validation of algorithms is an information-theoretic framework to investigate the robustness of algorithms to fluctuations in the input/observations and their generalization ability. We investigate various algorithms for one of the paradigmatic unconstrained submodular maximization problem: MaxCut. Due to submodularity of the MaxCut objective, we are able to present efficient approaches to calculate the algorithmic information content of MaxCut algorithms. The results provide insights into the robustness of different algorithmic techniques for MaxCut.

연구 동기 및 목표

• 비볼록 함수 최적화를 위한 이론적 프레임워크를 개발하는 것.
• 연속적 서브모듈라 함수 최대화를 위한 근사 보장을 제공하는 것.
• 정보이론적 강건성 분석을 통한 서브모듈라 최대화 문제를 위한 알고리즘 검증.
• 연속적 서브모듈라리티를 수익 최대화, MAP 추론, 평균장 근사와 같은 실제 응용에 연결하는 것.

제안 방법

• 연속 영역으로의 이산 서브모듈라리티의 확장으로서 연속적 서브모듈라리티를 도입하는 것.
• 연속적 DR-서브모듈라 함수를 정의하고 그 구조적 성질을 확립하는 것.
• 상자 제약 조건 하에서 연속적 서브모듈라 함수 최대화를 위한 기울기 기반 및 조건부 기울기 알고리즘을 제안하며, 근사 보장을 확보하는 것.
• 서브모듈라리티를 활용하여 MaxCut의 알고리즘 정보 내용을 효율적으로 계산하는 방법을 유도하는 것.
• 입력 변동에 대한 MaxCut 알고리즘의 강건성을 정량화하기 위해 정보이론적 측도를 적용하는 것.
• 서브모듈라 구조를 활용하여 알고리즘 복잡도의 계산 가능성을 확보하고 일반화에 대한 통찰을 제공하는 것.

실험 결과

연구 질문

• RQ1 연속적 서브모듈라리티는 비볼록 최적화에 대해 증명 가능 근사 보장을 가능하게 할 수 있는가?
• RQ2 서브모듈라리티는 비제약 서브모듈라 최대화 알고리즘의 강건성을 검증하는 데 어떻게 활용될 수 있는가?
• RQ3 MaxCut 알고리즘의 알고리즘 정보 내용은 무엇이며, 그 강건성과의 관계는 어떠한가?
• RQ4 연속적 서브모듈라 최적화는 얼마나 실제 기계학습 및 데이터 마이닝 문제를 모델링할 수 있는가?
• RQ5 다양한 MaxCut 알고리즘 기법은 강건성과 정보 내용 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 연속적 DR-서브모듈라 함수가 일반적으로 비볼록이고 비볼록이지만, 일정 요소 근사 보장을 갖는 알고리즘을 허용함을 입증한다.
• 제안된 알고리즘은 상자 제약 조건 하에서 연속적 DR-서브모듈라 최대화에 대해 근사 비율 1/2을 달성한다.
• 목표 함수의 서브모듈라리티 덕분에 MaxCut의 알고리즘 정보 내용은 효율적으로 계산 가능하며, 이는 강건성 분석을 가능하게 한다.
• 다양한 MaxCut 알고리즘은 서로 다른 강건성을 보이며, 탐욕적 및 무작위 방법은 정보이론적 프로파일에서 뚜렷한 차이를 보인다.
• 이 프레임워크는 서브모듈라 구조가 알고리즘 강건성 및 일반화의 타당한 검증을 가능하게 함을 드러낸다.
• 수익 최대화, DPP 추론, 평균장 근사와 같은 응용 사례들이 연속적 서브모듈라 프레임워크 내에서 자연스럽게 모델링될 수 있음을 보여준다.