[논문 리뷰] Mixed Robust/Average Submodular Partitioning: Fast Algorithms, Guarantees, and Applications

Kai Wei, Rishabh Iyer외 3명|arXiv (Cornell University)|2015. 10. 29.

Complexity and Algorithms in Graphs참고 문헌 30인용 수 20

한 줄 요약

이 논문은 강건성과 평균 케이스 최적화의 장점을 결합한 확장 가능한 알고리즘을 제안하며, 혼합된 강건/평균 케이스 하위모듈러 분할 문제를 해결한다. 그들은 상태 기반의 근사 보장을 달성하면서도 대규모 실세계 데이터셋에 스케일링 가능한 그레디언트, 주요화-최소화, 그리고 리 릴랙세이션 기반 방법을 제안한다. 이는 분산 머신 러닝, 클러스터링, 이미지 세그멘테이션 등에 적용된다.

ABSTRACT

We investigate two novel mixed robust/average-case submodular data partitioning problems that we collectively call Submodular Partitioning. These problems generalize purely robust instances of the problem, namely max-min submodular fair allocation (SFA) [12] and min-max submodular load balancing (SLB) [25], and also average-case instances, that is the submodular welfare problem (SWP) [26] and submodular multiway partition (SMP) [5]. While the robust versions have been studied in the theory community [11, 12, 16, 25, 26], existing work has focused on tight approximation guarantees, and the resultant algorithms are not generally scalable to large real-world applications. This is in contrast to the average case, where most of the algorithms are scalable. In the present paper, we bridge this gap, by proposing several new algorithms (including greedy, majorization-minimization, minorization-maximization, and relaxation algorithms) that not only scale to large datasets but that also achieve theoretical approximation guarantees comparable to the state-of-the-art. We moreover provide new scalable algorithms that apply to additive combinations of the robust and average-case objectives. We show that these problems have many applications in machine learning (ML), including data partitioning and load balancing for distributed ML, data clustering, and image segmentation. We empirically demonstrate the efficacy of our algorithms on real-world problems involving data partitioning for distributed optimization (of convex and deep neural network objectives), and also purely unsupervised image segmentation.

연구 동기 및 목표

• 기존에 강력한 근사 보장을 제공하지만 대규모 응용에 효율성이 떨어지는 강건 하위모듈러 분할 문제의 확장성 격차를 해소한다.
• 이론적으로 최적이지만 실용적이지 않은 강건 알고리즘과 확장성은 있지만 강건성이 떨어지는 평균 케이스 방법 사이의 격차를 메운다.
• 목적함수의 덧셈 조합을 통해 강건성과 평균 케이스 성능의 균형을 이루는 새로운 알고리즘을 개발하여 실세계 머신 러닝 워크로드에서의 실용적 구현을 가능하게 한다.
• 제안된 프레임워크가 분산 머신 러닝, 데이터 클러스터링, 이미지 세그멘테이션 작업에 어떻게 적용 가능한지 보여준다.
• 제안된 알고리즘에 대해 이론적 근사 보장을 제공하면서도 대규모 데이터셋에서 계산 효율성을 확보한다.

제안 방법

• 강건(예: 최소 최대 공정성)과 평균 케이스(예: 하위모듈러 웰페어) 목적함수를 통합한 유일한 프레임워크로 하위모듈러 분할의 새로운 공식화를 제안한다.
• 결합된 강건/평균 목적함수를 최대화하도록 요소를 반복적으로 파artitions에 할당하는 그레디언트 알고리즘을 설계하며, 이론적 근사 경계를 제공한다.
• 비볼록, 비연속 하위모듈러 목적함수를 순차적 볼록 근사 방법을 통해 효율적으로 최적화하기 위해 주요화-최소화 및 보조화-최대화 기법을 도입한다.
• 이산적 분할 문제를 연속 최적화 문제로 변환하는 연속적 리 릴랙세이션 접근법을 개발하며, 투영된 경사 하강법을 통해 해결한다.
• 제안된 알고리즘 프레임워크 하에서 하위모듈러성 특성을 활용하여 수렴성과 근사 보장을 보장한다.
• 분산 머신 러닝 및 비지도 이미지 세그멘테이션을 위한 실용적 파ip라인에 알고리즘을 통합하여 실세계 데이터에서 종단 간 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 강건성과 평균 케이스 목적함수를 결합하더라도 강력한 이론적 근사 보장을 유지하면서 확장 가능한 하위모듈러 분할 알고리즘을 설계할 수 있는가?
• RQ2 기존의 최첨단 방법들과 비교해 볼 때, 제안된 알고리즘은 강건성과 평균 케이스 하위모듈러 최적화에서 성능과 확장성 측면에서 어떻게 다른가?
• RQ3 혼합된 강건/평균 케이스 목적함수는 분산 학습 및 이미지 세그멘테이션과 같은 실세계 머신 러닝 응용에서 공정성과 유용성을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 목적함수 조합 하에서 제안된 알고리즘의 이론적 근사 경계는 무엇인가?
• RQ5 제안된 방법은 솔루션 품질을 희생시키지 않고 대규모 실세계 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 알고리즘은 강건성과 평균 케이스 하위모듈러 최적화 분야에서 최첨단 수준의 이론적 근사 보장을 달성한다.
• 그레디언트 및 리 릴랙세이션 기반 알고리즘은 대규모 데이터셋에 효과적으로 스케일링되어 분산 딥 러닝 및 이미지 세그멘테이션과 같은 실세계 응용에서 실용적 구현이 가능하다.
• 주요화-최소화 및 보조화-최대화 접근법은 비볼록 하위모듈러 목적함수에 대해 안정적인 수렴과 고품질 솔루션을 제공한다.
• 실험적 평가 결과, 혼합된 강건/평균 케이스 공식화는 수렴 속도를 희생시키지 않고도 분산 머신 러닝 워크로드에서 로드 밸런싱과 공정성을 향상시킨다.
• 실세계 데이터 분할 작업에서 순수 강건성 또는 평균 케이스 기반 베이스라인에 비해 솔루션 품질과 확장성 측면에서 모두 우수한 성능을 보인다.
• 프레임워크는 비지도 이미지 세그멘테이션에 효과적이며, 계산 효율성을 유지하면서도 경쟁 가능한 성능을 달성한다.