[논문 리뷰] Long term dynamics of the subgradient method for Lipschitz path differentiable functions

Jérôme Bolte, Edouard Pauwels외 1명|arXiv (Cornell University)|2020. 05. 29.

Numerical methods in inverse problems참고 문헌 46인용 수 6

한 줄 요약

이 논문은 국소 리프시츠이자 경로 미분 가능한 비볼록, 비미분 가능한 함수에 대해 점점 줄어드는 스텝 사이즈를 갖는 하향 기울기 방법의 장기적 행동을 분석한다. 닫힌 측도 이론적 프레임워크를 도입함으로써 국소 진동 보정을 입증하여, 수렴점 주변의 시간 평균 하향 기울기가 사라짐을 보여주며, 반복의 진동하는 역학에서 숨겨진 구조를 드러낸다.

ABSTRACT

We consider the long-term dynamics of the vanishing stepsize subgradient method in the case when the objective function is neither smooth nor convex. We assume that this function is locally Lipschitz and path differentiable, i.e., admits a chain rule. Our study departs from other works in the sense that we focus on the behavoir of the oscillations, and to do this we use closed measures. We recover known convergence results, establish new ones, and show a local principle of oscillation compensation for the velocities. Roughly speaking, the time average of gradients around one limit point vanishes. This allows us to further analyze the structure of oscillations, and establish their perpendicularity to the general drift.

연구 동기 및 목표

• 목적 함수가 비볼록이고 비미분 가능할 때 점점 줄어드는 스텝 사이즈를 갖는 하향 기울기 방법의 장기적 역학을 이해하는 것.
• 이テ레이션의 진동하는 성질을 가지는 하향 기울기 반복의 구조를 분석하는 것. 이는 요동스럽지만 수치적으로 안정적인 것으로 알려져 있다.
• 진동 행동의 숨겨진 규칙성을 포괄하는 이론적 프레임워크를 개발하는 것, 특히 수렴점 주변에서의 행동에 중점을 둔다.
• 국소 진동 보정을 확립하여, 수렴점 근처에서 시간 평균 하향 기울기가 사라짐을 보이는 것.
• 부하수렴 이론을 넘어서, 닫힌 측도를 사용하여 진동의 점근적 구조를 기술함으로써 수렴 결과를 확장하는 것.

제안 방법

• 하향 기울기 수열의 점근적 행동을 분석하기 위해 닫힌 측도를 사용하며, 궤적을 리프시츠 함수 공간의 곡선으로 간주한다.
• 원래 변분법에서 유래된 닫힌 측도 이론을 이산 역학에 적용하기 위해 하향 기울기 수열에서 보간 곡선을 구성한다.
• 한계 측도를 보간 곡선을 따라 경험적 측도의 보편화를 약한 극한으로 정의함으로써 장기적 속도 분포 분석이 가능하게 한다.
• 모리피케이션을 사용해 특이 측도를 부드럽게 하고, 잘 정의된 중심점 장을 갖는 근사 흐름을 구성한다.
• 프로코르프의 정리를 적용하여 측도의 약한 수렴하는 부분수열을 추출함으로써, 한계 닫힌 측도의 존재를 보장한다.
• 아르체라-아스콜리 정리를 사용하여 리프시츠 곡선의 공간에서의 순차적 컴팩턴스를 확립함으로써, 보간 곡선의 부분수열 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 볼록성이나 미분 가능성 없이 하향 기울기 방법의 진동 행동을 어떻게 특성화할 수 있는가?
• RQ2 반복이 임계점 주변을 진동할 때, 한계 역학에서 어떤 구조적 성질이 나타나는가?
• RQ3 한계점 주변의 시간 평균 하향 기울기가 사라짐을 입증할 수 있는가? 이는 진동 보정의 한 형태로 간주된다.
• RQ4 경로 미분 가능한 함수에 대해 하향 기울기 방법이 어떤 조건에서 국소 진동 보정을 보이는가?
• RQ5 닫힌 측도 프레임워크는 하향 기울기 반복의 점근적 구조를 더 깊이 있게 분석하는 데 어떻게 기여하는가?

주요 결과

• 하향 기울기 수열의 임의의 수렴점 주변에서 시간 평균 하향 기울기가 사라지며, 이는 국소 진동 보정 원리가 성립함을 입증한다.
• 위트니 스트라티파이어블 함수에 대해서는 점근적 역학이 진동과 일반적인 이동 방향 사이에 수직적인 구조를 드러내며, 이는 진동이 순 이동에 기여하지 않음을 의미한다.
• 경로 미분 가능성과 약한 사르드 유형의 가정 하에서, 기존의 임계점 집합 수렴 결과를 회복한다.
• 비연속적 시간 근사(예: Benaïm–Hofbauer–Sorin의 연속 시간 근사)에 의존하지 않고도 진동의 엄밀한 분석이 가능하다.
• 하향 기울기 수열에서 유도된 한계 측도는 닫혀 있으며, 이는 장기적으로 순 유량이 없음을 반영하는 균형 조건을 만족한다.
• 위치 수렴이 없더라도 시간 평균 속도가 0으로 수렴함을 입증함으로써, 평균화의 안정화 효과를 강조한다.