[논문 리뷰] Distributed Optimization of Convex Sum of Non-Convex Functions

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|2016. 08. 18.

Distributed Control Multi-Agent Systems참고 문헌 19인용 수 10

한 줄 요약

이 논문은 각 에이전트가 전체 목적 함수의 비볼록 성분을 개인적으로 소유하는 경우, 볼록 합의 비볼록 함수를 최소화하기 위한 분산 최적화 알고리즘을 제안한다. 기울기 리프시츠 조건 하에서 결합된 공감과 투영된 경사하강법을 활용함으로써, 개별 함수가 비볼록일지라도 전역 최적해로 수렴함을 보장한다. 이는 분산 학습 및 자원 할당 시스템에서 향상된 프라이버시를 가능하게 한다.

ABSTRACT

We present a distributed solution to optimizing a convex function composed of several non-convex functions. Each non-convex function is privately stored with an agent while the agents communicate with neighbors to form a network. We show that coupled consensus and projected gradient descent algorithm proposed in [1] can optimize convex sum of non-convex functions under an additional assumption on gradient Lipschitzness. We further discuss the applications of this analysis in improving privacy in distributed optimization.

연구 동기 및 목표

• 개별 목적 함수가 비볼록이지만 그 합이 볼록일 경우에도 분산 최적화를 확장하는 것.
• 에이전트들이 서로 다른 이웃에게 자신의 함수 성분을 다른 방식으로 공유함으로써 프라이버시 보장이 가능한 분산 최적화를 가능하게 하는 것.
• 강한 연결성과 기울기 리프시츠 조건만을 요구하는 약화된 볼록성 가정 하에서 알고리즘 1의 수렴성을 증명하는 것.
• 분산 기계 학습 및 최적화에서 프라이버시 향상 전략의 이론적 기초를 마련하는 것.
• 엄격한 연결성 요구 조건을 완화하기 위해 $Q$-연결 통신 토폴로지로 수렴 결과를 일반화하는 것.

제안 방법

• 에이전트들은 비볼록 국소 함수들로 구성된 전역 볼록 목적 함수를 최소화하기 위해 결합된 공감과 투영된 경사하강법을 조합한 분산 프로토콜을 사용한다.
• 각 에이전트는 자신의 비공개 함수의 성분만을 사용하여 국소 기울기 하강법을 수행하며, 서로 다른 이웃에게 다른 상태 갱신을 공유한다.
• 에이전트 간의 공감을 보장하기 위해 이중 스 tochastic 행렬 $B_k$ 를 사용하며, 네트워크 연결성을 유지하도록 가중치를 선택한다.
• 리아푸노프 유사 분석을 통해 수렴성을 증명하였으며, 반복 평균 $\bar{x}_k$ 가 최적해 집합 $\mathcal{X}^*$ 로 수렴함을 보였다.
• 에이전트들이 매 $Q$ 반복마다 적어도 한 번은 통신하는 $Q$-연결 토폴로지에서도 적용 가능하도록 확장되었으며, 간헐적인 네트워크에까지 적용 가능하다.
• 개별 함수를 비볼록 성분으로 분할함으로써, 어느 한 에이전트도 다른 이의 전체 목적 함수를 복원할 수 없도록 프라이버시를 향상시켰다.

실험 결과

연구 질문

• RQ1 개별 함수가 비볼록이지만 그 합이 볼록일 경우 분산 최적화가 전역 최소값으로 수렴할 수 있는가?
• RQ2 결합된 공감과 투영된 경사하강법 알고리즘이 개별 함수의 볼록성을 요구하지 않고 기울기 리프시츠 조건 하에서도 수렴성을 유지하는가?
• RQ3 개별 함수를 비볼록 성분으로 분할하고 부분 기울기만 공유함으로써 분산 최적화에서 프라이버시를 보장할 수 있는가?
• RQ4 완전히 연결된 그래프가 매 단계에서 유지되지 않는 $Q$-연결 통신 토폴로지에서 알고리즘의 성능은 어떠한가?
• RQ5 전역 목적 함수를 변경하지 않고도 무작위 함수 공유를 프라이버시 보장 메커니즘으로 사용할 수 있는가?

주요 결과

• 합 함수 $f(x)$ 가 볼록이고 개별 기울기가 리프시츠 연속일 경우, 알고리즘이 최적해 집합 $\mathcal{X}^*$ 로 수렴함을 보였다.
• 반복 평균 $\bar{x}_k$ 는 최적해로 수렴하며, $\liminf_{k\to\infty} f(\bar{x}_k) = f(x^*)$ 를 만족한다.
• 모든 에이전트가 점차 동일한 반복 벡터를 수렴함으로써 네트워크 전역에서 공감이 이루어진다.
• 통신 그래프가 매 단계에서 반드시 완전히 연결되어 있지 않더라도, $Q$-연결일 경우 수렴 결과가 유지됨을 보였다.
• 함수 분할을 통해 에이전트들은 서로 다른 이웃에게 다른 상태 갱신을 공유할 수 있으며, 이는 비공개 목적 함수의 재구성 방지에 기여한다.
• 무작위 함수 공유 방식은 전역 목적 함수를 유지하면서도 프라이버시를 향상시키며, 수정된 모든 함수의 합이 원래 합과 동일함을 보였다.