[논문 리뷰] Randomized Iterative Methods for Linear Systems: Momentum, Inexactness and Gossip

Nicolas Loizou|arXiv (Cornell University)|2019. 09. 26.

Stochastic Gradient Optimization Techniques참고 문헌 195인용 수 4

한 줄 요약

이 논문은 대규모 선형 시스템과 최적화 문제를 해결하기 위해 무작위화된 반복적 방법, 관성 항, 비정확성, 게시 기반 통신을 도입한다. 무작위화된 게시 알고리즘에 대해 처음으로 증명 가능한 가속화된 선형 수렴 속도를 확립하고, 새로운 프라이버시 보호 변형을 제안하여 분산 환경에서의 효율성과 확장성을 크게 향상시킨다.

ABSTRACT

In the era of big data, one of the key challenges is the development of novel optimization algorithms that can accommodate vast amounts of data while at the same time satisfying constraints and limitations of the problem under study. The need to solve optimization problems is ubiquitous in essentially all quantitative areas of human endeavor, including industry and science. In the last decade there has been a surge in the demand from practitioners, in fields such as machine learning, computer vision, artificial intelligence, signal processing and data science, for new methods able to cope with these new large scale problems. In this thesis we are focusing on the design, complexity analysis and efficient implementations of such algorithms. In particular, we are interested in the development of randomized iterative methods for solving large scale linear systems, stochastic quadratic optimization problems, the best approximation problem and quadratic optimization problems. A large part of the thesis is also devoted to the development of efficient methods for obtaining average consensus on large scale networks.

연구 동기 및 목표

• 대규모 선형 시스템과 스토하스틱 이차 최적화 문제를 해결하기 위한 효율적인 무작위 반복적 방법을 설계하기.
• 1차 방법에 무거운 공중보행 관성 항을 도입하고, 볼록 이차 문제에 대해 통합된 프레임워크에서 수렴성을 분석하기.
• 정확한 하위문제 해를 요구하는 조건을 완화하기 위해 비정확한 변형을 도입하여 계산 비용을 줄이면서도 수렴성을 유지하기.
• 블록, 가속화, 프라이버시 보호 변형을 가능하게 하는 일반적인 프레임워크를 개발하여 분산 평균 공약을 위한 무작위 게시 알고리즘을 제공하기.
• 수렴 보장을 훼손하지 않고 분산 네트워크에서 개인 정보를 보호하기 위해 새로운 프라이버시 보호 메커니즘을 게시 프로토콜에 도입하기.

제안 방법

• 희소 데이터 환경에서 더 빠른 반복를 가능하게 하기 위해 계산 비용이 더 낮은 무작위 관성 항을 결정론적 관성 항의 대안으로 도입한다.
• 하위문제에 유한한 오차를 갖는 근사해를 允가함으로써, SGD, 무작위 뉴턴, 프락시멀 포인트, 부분공간 상승의 비정확한 변형을 분석한다.
• 선형 시스템을 위한 무작위 투영 방법을 통해 랜덤라이즈드 카츠마르츠 유형 방법과 게시 알고리즘 간의 연결을 수립한다.
• 게시 알고리즘을 공약 시스템에 대한 무작위 반복 해법으로 모델링하여 통합된 프레임워크를 개발함으로써 블록 및 가속화 변형을 가능하게 한다.
• 세 가지 프라이버시 보호 게시 프로토콜을 제안한다: 이진 오라클, ε-갭 오라클, 제어된 노이즈 삽입 — 이들은 업데이트 중 공유되는 정보를 약화시킨다.
• 이중성을 활용하여 최적 근사 문제의 이중 문제를 해결하는 알고리즘을 설계함으로써, 평균 공약으로 수렴하면서도 프라이버시를 보존한다.

실험 결과

연구 질문

• RQ1 무작위 관성 항을 사용하여 선형 시스템과 최적화를 위한 무작위 반복적 방법을 가속화할 수 있으며, 선형 수렴 속도를 달성할 수 있는가?
• RQ2 하위문제가 근사적으로 해결될 때, 스토하스틱 1차 방법의 비정확한 변형의 수렴 속도는 어떠한가?
• RQ3 분산 평균 공약을 위한 무작위 게시 알고리즘을 증명 가능한 가속화된 수렴 속도로 설계할 수 있는가?
• RQ4 수렴성이나 정확성을 희생시키지 않고 게시 기반 공약 알고리즘에서 프라이버시를 보존할 수 있는가?
• RQ5 선형 시스템에 대한 무작위 반복적 방법의 프레임워크를 확장하여 기존의 게시 프로토콜을 통합하고 일반화할 수 있는가?

주요 결과

• 논문은 볼록 이차 문제에서 무작위 중량보행 방법에 대해 처음으로 전역 비점근적 선형 수렴 속도를 확립한다.
• 희소 데이터 환경에서 작은 관성 계수를 갖는 경우, 무작위 관성 방법은 결정론적 관성 변형보다 더 낮은 총 복잡도를 달성한다.
• 비정확한 변형은 유한한 비정확성 오차를 갖는 조건 하에서 선형 수렴성을 유지하며, 더 많은 반복이 필요하더라도 해에 도달하는 데 걸리는 시간이 크게 감소한다.
• 제안된 가속화된 게시 프로토콜은 기존의 무작위 게시 알고리즘보다 증명 가능한 빠른 선형 수렴 속도를 달성하며, 무선 센서 네트워크 구조에서 검증되었다.
• 이중 오라클, ε-갭 오라클, 제어된 노이즈 삽입을 포함한 프라이버시 보호 게시 프로토콜은 평균 공약으로 수렴하면서도 개인 노드 값의 기밀성을 보호한다.
• 모든 제안된 프라이버시 보호 프로토콜에 대해 이론적 반복 복잡도 한계를 제공하였으며, 표준 네트워크 구조에서의 광범위한 수치 실험을 통해 실용적 수렴성을 확인하였다.