[논문 리뷰] Distributed second order methods with variable number of working nodes.

Dragana Bajović, Dušan Jakovetić외 2명|arXiv (Cornell University)|2017. 09. 05.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 분산 2차 최적화에 인식 기반(idling) 메커니즘을 도입하여, 분산 준뉴턴(DQN) 방법에 적응시켜 반복 횟수에 따라 증가하는 확률에 따라 노드가 확률적으로 활성화되도록 한다. 이 방법은 통신 및 계산 비용을 크게 줄이며, 더 저렴하고 적응적인 업데이트를 통해 R-선형 수렴 속도를 유지한다.

ABSTRACT

Recently, an idling mechanism has been introduced in the context of distributed first order methods for minimization of a sum of nodes' local convex costs over a generic, connected network. With the idling mechanism, each node i, at each iteration k, is active -- updates its solution estimate and exchanges messages with its network neighborhood -- with probability pk (pk increasing to one as k grows large), and it stays idle with probability 1-pk, while the activations are independent both across nodes and across iterations. The idling mechanism involves an increasing number of nodes in the algorithm (on average) as the iteration counter k grows, thus avoiding unnecessarily expensive exact updates at the initial iterations while performing beneficial close-to-exact updates near the solution. In this paper, we demonstrate that the idling mechanism can be successfully incorporated in distributed second order methods also. Specifically, we apply the idling mechanism to the recently proposed Distributed Quasi Newton method (DQN). We first show theoretically that DQN with idling exhibits very similar theoretical convergence and convergence rates properties as the standard DQN method, thus achieving the same order of convergence rate (R-linear) as the standard DQN, but with significantly cheaper updates. Further, we demonstrate by simulation examples significant communication and computational savings gained through incorporation of the idling mechanism.

연구 동기 및 목표

• 분산 최적화에서 정확한 2차 업데이트의 높은 계산 및 통신 비용을 해결하기 위해, 특히 초기 반복 단계에서의 비용을 줄이기 위해.
• 진전 상황과 관계없이 항상 전체 업데이트를 수행하는 전통적 분산 방법의 비효율성을 해결하여 불필요한 자원 사용을 방지하기 위해.
• 수렴 과정 중에 활성화된 노드 수가 점차 증가하는 동적 활성화 전략을 도입하여 효율성을 향상시키되, 수렴 품질에 영향을 주지 않기 위해.
• 기존에 1차 최적화 방법에 사용된 인식 기반 메커니즘을 2차 분산 최적화, 특히 DQN 프레임워크로 확장하기 위해.
• 인식 기반 DQN이 표준 DQN과 동일한 수렴 속도를 유지하면서도 계산 및 통신 오버헤드를 줄이는 것을 입증하기 위해.

제안 방법

• 1차 최적화 방법에서 유래한 인식 기반 메커니즘을 분산 준뉴턴(DQN) 알고리즘에 적응시켜, 각 노드가 반복 횟수에 따라 증가하는 확률 pk로 활성화되도록 한다.
• 각 반복 k에서, 각 노드 i는 확률 pk로 자신의 해 추정치를 업데이트하고 이웃과 메시지를 교환하며 활성화되며, 그렇지 않으면 무용(인식) 상태로 유지된다.
• 활성화된 노드는 DQN 업데이트 규칙을 유지하며, 국소 헤시안 근사값과 기울기 정보를 사용해 탐색 방향을 계산한다.
• 헤시안 근사값은 노드가 활성화된 경우에만 갱신되어, 고비용 헤시안 계산의 빈도를 줄인다.
• 활성화 확률 pk를 시간이 지남에 따라 증가시키도록 설계하여, 알고리즘이 수렴에 가까워질수록 더 많은 노드가 참여하도록 보장한다.
• 이론적 분석을 통해 인식 기반 DQN이 표준 DQN과 동일한 R-선형 수렴 속도를 유지함을 입증한다. 이는 업데이트 빈도가 감소하더라도 성립한다.

실험 결과

연구 질문

• RQ1 1차 최적화 분야에서 효과를 보인 인식 기반 메커니즘이, DQN과 같은 2차 최적화 방법으로 성공적으로 확장될 수 있는가?
• RQ2 동일한 가정 하에 인식 기반 DQN 방법이 표준 DQN 방법의 R-선형 수렴 속도를 유지하는가?
• RQ3 표준 DQN과 비교했을 때 인식 기반 메커니즘이 DQN에서 달성한 통신 및 계산 절감 효과는 무엇인가?
• RQ4 동적 활성화 확률 pk가 분산 2차 최적화의 수렴 행동과 효율성에 어떤 영향을 미치는가?
• RQ5 초기 반복 단계에서 최종 해의 정확도나 수렴 속도를 훼손하지 않으면서도 자원 사용을 줄일 수 있는가?

주요 결과

• 인식 기반 DQN 방법은 표준 DQN 방법과 동일한 R-선형 수렴 속도를 달성하여, 이론적으로도 수렴 품질이 동일함을 확인한다.
• 진전이 덜 중요한 초기 반복 단계에서 정확한 업데이트를 피하기 때문에 계산 및 통신 비용을 크게 절감한다.
• 시뮬레이션 결과는 특히 최적화의 초반 단계에서 통신 및 계산 절감 효과가 뚜렷하게 나타남을 보여준다.
• 증가하는 활성화 확률 pk는 활성화된 노드 수가 시간이 지남에 따라 증가함을 보장하여, 수렴 근처에서 고정밀도 업데이트를 가능하게 한다.
• 인식 기반 메커니즘은 저비용의 초기 반복에서 고정밀도의 최종 반복으로의 부드러운 전환을 가능하게 하여 전체 효율성을 향상시킨다.
• 이론적 분석을 통해 인식 기반 메커니즘이 수렴 성질을 악화시키지 않으며, 표준 DQN과 동일한 수렴 순서를 유지함을 확인한다.