[논문 리뷰] A Hybrid Method of Combinatorial Search and Coordinate Descent for Discrete Optimization

Ganzhao Yuan, Li Shen외 1명|arXiv (Cornell University)|2017. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 6

한 줄 요약

이 논문은 선택된 좌표 부분집합에 대한 조합적 탐색과 좌표 하강법을 조합한 하이브리드 이산 최적화 방법을 제안한다. 작업 집합을 랜덤 또는 근시적인 전략으로 선택하며, 이는 더 강력한 정류점과 이산 최적화 문제에서 최신 기술 수준의 정확도를 달성한다. 기존의 직교 매칭 퇄색과 같은 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Discrete optimization is a central problem in mathematical optimization with a broad range of applications, among which binary optimization and sparse optimization are two common ones. However, these problems are NP-hard and thus difficult to solve in general. Combinatorial search methods such as branch-and-bound and exhaustive search find the global optimal solution but are confined to small-sized problems, while coordinate descent methods such as coordinate gradient descent are efficient but often suffer from poor local minima. In this paper, we consider a hybrid method that combines the effectiveness of combinatorial search and the efficiency of coordinate descent. Specifically, we consider random strategy or/and greedy strategy to select a subset of coordinates as the working set, and then perform global combinatorial search over the working set based on the original objective function. In addition, we provide some optimality analysis and convergence analysis for the proposed method. Our method finds stronger stationary points than existing methods. Finally, we demonstrate the efficacy of our method on some sparse optimization and binary optimization applications. As a result, our method achieves state-of-the-art performance in terms of accuracy. For example, our method generally outperforms the well-known orthogonal matching pursuit method in sparse optimization. Keywords: Sparsity Optimization, Binary Optimization, Coordinate Descent, Combinatorial Search, Discrete Optimization, Convergence Analysis.

연구 동기 및 목표

• 기존 방법이 NP-완전 이산 최적화 문제를 해결하는 데 있어 좌표 하강법에서의 열악한 국소 최소값과 조합적 탐색의 높은 계산 비용으로 인한 한계를 해결하기 위해.
• 작업 집합에 대한 조합적 탐색과 좌표 하강 업데이트를 통합하여 효율성과 전역 최적성 사이의 격차를 메우기 위해.
• 비볼록 흩어진 및 이진 최적화 문제에서 기존 방법보다 더 강력한 정류점을 찾는 방법을 개발하기 위해.
• 제안된 하이브리드 프레임워크에 대한 수렴성과 최적성 보장 이론적 근거를 제공하기 위해.

제안 방법

• 탐색 공간을 줄이기 위해 랜덤 또는 근시적인 전략을 사용해 작업 집합의 좌표를 선택한다.
• 작업 집합 내에서 원래 목표 함수를 사용해 전역 조합적 탐색을 수행하여 해 품질을 향상시킨다.
• 작업 집합을 고정한 채로 나머지 좌표에 대해 좌표 하강 업데이트를 수행하여 局소 개선을 보장한다.
• 수렴 한계를 유도하기 위해 충분한 감소 조건과 기울기의 리프시츠 연속성을 사용한다.
• 이ter레이트와 수렴 속도를 유 bounds하기 위해 강한 볼록성과 코시-슈바르츠 부등식을 이론 분석에서 활용한다.
• 이론적 분석에는 정류점으로의 수렴과 기대 하위최적성 및 최적 해와의 이터레이트 거리에 대한 경계 포함.

실험 결과

연구 질문

• RQ1 조합적 탐색과 좌표 하강법을 조합한 하이브리드 방법이 순수한 좌표 하강법보다 이산 최적화에서 더 나은 해 품질을 달성할 수 있는가?
• RQ2 랜덤 또는 근시적인 전략으로 선택된 작업 집합이 수렴성을 향상시키고 열악한 국소 최소값을 피하는 데 기여하는가?
• RQ3 희박 최적화에서 최신 기술 수준의 방법인 직교 매칭 퇄색과 비교해 제안된 방법은 어떻게 성능을 내는가?
• RQ4 이 하이브리드 프레임워크에서 수렴성과 하위최적성에 대해 어떤 이론적 보장을 설정할 수 있는가?
• RQ5 전체적으로 부분집합에 대한 전역 탐색과 국소 하강을 효과적으로 균형 잡아 더 강력한 정류점을 달성할 수 있는가?

주요 결과

• 제안된 방법은 흩어진 및 이진 최적화 과제에서 기존의 잘 알려진 방법들(예: 직교 매칭 퇄색)을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 이론적 분석 결과 기대 하위최적성이 반복 횟수에 따라 선형적으로 감소하며, 강한 볼록성 매개변수의 역수 비례 항으로 경계됨을 보여준다.
• 작업 집합 크기와 문제 매개변수에 따라 의존하는 수렴 속도로 정류점으로 수렴한다.
• 이터레이트와 최적 해 사이의 기대 거리는 경계되어 있으며 시간이 지남에 따라 감소하여 안정적인 수렴을 나타낸다.
• 실험 결과는 하이브리드 방법이 기존 방법보다 더 강력한 정류점을 찾는 것으로 나타났으며, 특히 비볼록 환경에서 뚜렷한 성능 향상을 보였다.
• 이 방법은 반복 과정 전반에 걸쳐 타당성을 유지하며 기계 학습 및 컴퓨터 시각 분야의 실제 응용에서 향상된 성능을 달성한다.