[논문 리뷰] The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning

Konstantinos Slavakis, Isao Yamada|arXiv (Cornell University)|2010. 08. 31.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 8

한 줄 요약

이 논문은 시간에 따라 변화하는 환경에서 온라인 학습을 향상시키기 위해, 준비수축성 사상의 가족에 의해 제약을 받는 적응형 투영된 하향기울기 방법을 제안한다. 이러한 사상들을 통해 동적이고 시간에 따라 변화하는 사전 지식을 활용함으로써, 수렴 보장과 뛰어난 추적 성능을 확보하면서도 저복잡도의 스퍼스 시스템 식별이 가능해진다. 기존 최고 수준의 방법들에 비해 뛰어난 성능을 보인다.

ABSTRACT

Many online, i.e., time-adaptive, inverse problems in signal processing and machine learning fall under the wide umbrella of the asymptotic minimization of a sequence of non-negative, convex, and continuous functions. To incorporate a-priori knowledge into the design, the asymptotic minimization task is usually constrained on a fixed closed convex set, which is dictated by the available a-priori information. To increase versatility towards the usage of the available information, the present manuscript extends the Adaptive Projected Subgradient Method (APSM) by introducing an algorithmic scheme which incorporates a-priori knowledge in the design via a sequence of strongly attracting quasi-nonexpansive mappings in a real Hilbert space. In such a way, the benefits offered to online learning tasks by the proposed method unfold in two ways: 1) the rich class of quasi-nonexpansive mappings provides a plethora of ways to cast a-priori knowledge, and 2) by introducing a sequence of such mappings, the proposed scheme is able to capture the time-varying nature of a-priori information. The convergence properties of the algorithm are studied, several special cases of the method with wide applicability are shown, and the potential of the proposed scheme is demonstrated by considering an increasingly important, nowadays, online sparse system/signal recovery task.

연구 동기 및 목표

• 시간에 따라 변화하는 사전 지식을 온라인 학습 과제에 통합하는 데 도전하는 것.
• 고정된 볼록 제약 조건을 준비수축성 사상의 수열로 대체하여 적응형 투영된 하향기울기 방법(APSM)을 확장하는 것.
• 시간에 따라 변화하는 환경, 예를 들어 시간에 따라 변화하는 스퍼스 시스템 식별과 같은 실시간에서의 효율적 적응을 가능하게 하는 것.
• 수렴성과 추적 성능를 유지하면서도 계산 복잡도를 줄이는 것.
• 실세계 적용 가능성을 갖춘 온라인 스퍼스 신호 복원 과제에서 본 방법의 효과성을 입증하는 것.

제안 방법

• 실 힐버트 공간에서 시간에 따라 변화하는 사전 지식을 표현하기 위해 강하게 끌리는 준비수축성 사상의 수열을 사용한다.
• 각 반복 단계에서 알고리즘은 현재 사상 $ \Phi_n $ 에 의해 정의된 집합 위로 현재 추정치를 투영하기 위해 유형의 완화 투영 연산자 $ T_{\Phi_n}^{(\nu_n)} $ 를 적용한다.
• 업데이트 규칙은 하향기울기 단계와 현재 준비수축성 사상의 이미지 위로의 투영을 조합하여 고정점을 향해 수렴하도록 보장한다.
• 정확한 $ \ell_1 $-구의 투영을 반복적 근사 $ T_{\Phi_n}^{(\nu_n)} $ 로 대체함으로써, 복잡도를 $ \mathcal{O}(qL + L\log L) $ 에서 $ \mathcal{O}(qL) $ 로 감소시킨다.
• 손실 함수 $ \Theta_n(x) = \mathcal{L}(x(\bm{a}_n) - d_n) $ 를 사용하여 온라인 스퍼스 시스템 식별에 알고리즘을 적용한다. 여기서 $ \mathcal{L} $ 은 임의의 볼록 손실이다.
• 수렴 분석은 실 힐버트 공간에서 수행되며, 사상 수열과 스텝 크기의 약한 가정 하에 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 준비수축성 사상에 기반한 시간에 따라 변화하는 제약 구조가 동적 환경에서 온라인 학습 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 스퍼스 시스템 식별에서 수렴 속도, 추적 정확도, 계산 복잡도 사이의 균형을 어떻게 유지하는가?
• RQ3 정확한 $ \ell_1 $-구 투영을 반복적 근사 연산자로 대체함으로써 성능와 복잡도에 어떤 영향을 미치는가?
• RQ4 본 방법은 갑작스러운 시스템 변화를 추적하는 데 있어 RZ-LMS, LASSO, OCCD-TNWL 등의 기존 온라인 스퍼스 학습 알고리즘보다 우수한가?
• RQ5 제안된 프레임워크는 스퍼스 복원을 초과한 다른 온라인 학습 과제로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 정확한 투영 기반 변형과 유사한 추적 성능를 확보하면서도 계산 복잡도를 크게 감소시켰다.
• 정확한 $ \ell_1 $-구 투영에 필요한 정렬 연산을 피하기 때문에 계산 비용이 $ \mathcal{O}(qL) $ 로 감소하였다.
• 시간이 일정한 경우, 정확한 투영 버전과 유사한 성능를 달성하여 근사의 타당성을 확인하였다.
• 시간에 따라 변화하는 경우, 반복 501에서 비제로 계수의 수가 5에서 8로 갑작나는 변화를 낮은 오차 한계로 성공적으로 추적하였다.
• 기타 방법들 중에서, 잊혀짐 인자가 0.96인 OCCD-TNWL보다 뛰어난 추적 능력을 보였으며, 더 높은 잊혀짐 인자를 사용하는 RZ-LMS보다 낮은 오차 한계를 유지하였다.
• 가우스 노이즈 하에서 정적 및 동적 스퍼스 시스템 식별 과제 모두에서 강건성과 적응 능력을 입증하였다.