[논문 리뷰] Projective Splitting with Forward Steps: Asynchronous and Block-Iterative Operator Splitting

Patrick R. Johnstone, Jonathan Eckstein|arXiv (Cornell University)|2018. 03. 19.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 14

한 줄 요약

이 논문은 단조성 포함 문제를 해결하기 위한 프로젝티브 스플리팅 프레임워크의 새로운 프로젝티브 스텝 변형을 소개한다. 이는 리프시츠 연속 연산자를 위한 전진 스텝(Forward steps)을 전통적인 후행 스텝(Backward steps) 대신 사용함으로써 이방성 및 블록 반복 알고리즘을 가능하게 한다. 기존 방법에 비해 훨씬 뛰어난 성능과 더 단순한 구현을 달성하였으며, 특히 실제 데이터에서 유래한 대규모 희귀 특성 선택 문제에서 뛰어난 성능을 보였다.

ABSTRACT

This work is concerned with the classical problem of finding a zero of a sum of maximal monotone operators. For the projective splitting framework recently proposed by Combettes and Eckstein, we show how to replace the fundamental subproblem calculation using a backward step with one based on two forward steps. The resulting algorithms have the same kind of coordination procedure and can be implemented in the same block-iterative and highly flexible manner, but may perform backward steps on some operators and forward steps on others. Prior algorithms in the projective splitting family have used only backward steps. Forward steps can be used for any Lipschitz-continuous operators provided the stepsize is bounded by the inverse of the Lipschitz constant. If the Lipschitz constant is unknown, a simple backtracking linesearch procedure may be used. For affine operators, the stepsize can be chosen adaptively without knowledge of the Lipschitz constant and without any additional forward steps. We close the paper by empirically studying the performance of several kinds of splitting algorithms on a large-scale rare feature selection problem.

연구 동기 및 목표

• 기존의 프로젝티브 스플리팅 방법이 후행(프락시멀) 스텝에만 의존하는 한계를 해결한다. 이는 계산적으로 비용이 많이 들 수 있다.
• 리프시츠 연속 연산자를 위한 전진 스텝(계산적으로 더 저렴한)을 프로젝티브 스플리팅 프레임워크 내에서 사용할 수 있도록 한다.
• 수렴 보장을 유지하면서도 실용적 효율성을 향상시키는 유연하고 이방성이며 블록 반복적인 알고리즘을 개발한다.
• 알 수 없는 리프시츠 상수를 위한 백트랙킹 라인서치 절차와 애파프린 연산자에 대한 적응형 스텝 크기 선택을 제공한다.
• 실제 데이터에서 유래한 대규모 희귀 특성 선택 문제에서 새로운 방법의 실용적 우수성을 입증한다.

제안 방법

• 표준 후행 스텝을 리프시츠 연속 연산자에 대해 두 개의 전진 스텝 절차로 대체함으로써, Tseng의 전진-후행-전진 방법과 유사한 방식을 구현한다.
• 집합 $ \mathcal{I}_F $ 내의 각 $ T_i $ 에 대해 전진 스텝 연산자 $ I - \rho T_i $ 를 사용하며, 여기서 $ \rho $ 는 리프시츠 상수의 역수 이하로 제한된다.
• 리프시츠 상수가 알려져 있지 않을 경우 백트랙킹 라인서치를 통해 $ \rho $ 를 결정함으로써 수렴을 보장한다.
• 애파프린 연산자에 대해서는 추가적인 전진 스텝 없이도 리프시츠 상수의 지식 없이도 적응형 스텝 크기 선택을 허용한다.
• 새로운 전진 스텝 메커니즘을 기존의 프로젝티브 스플리팅 프레임워크에 통합함으로써, 블록 반복 및 이방성 기능을 유지한다.
• 실제 트립어드바이저 리뷰 데이터를 사용한 대규모 희귀 특성 선택 문제에 이 방법을 적용하고, 다양한 변종 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 리프시츠 연속 연산자를 위한 전진 스텝이 프로젝티브 스플리팅 프레임워크에 효과적으로 통합되어 후행 스텝을 대체할 수 있는가?
• RQ2 대규모 문제에서 기존의 연산자 스플리팅 알고리즘인 Tseng의 방법과 외삽법과 비교해 새로운 전진 스텝 방법의 성능은 어떠한가?
• RQ3 블록 반복 및 급진적 선택 전략이 수렴 속도와 실용적 효율성에 미치는 영향은 어떠한가?
• RQ4 리프시츠 상수가 사전에 알려져 있지 않을 경우에도 수렴을 달성할 수 있으며, 백트랙킹 라인서치 절차의 효과는 어떠한가?
• RQ5 실제 구현에서 전진 스텝 방법의 구현 복잡도는 근사 후행 스텝 변종에 비해 어떻게 비교되는가?

주요 결과

• 제안된 전진 스텝 방법인 psf-g(프로젝티브 스플리팅 전진 스텝, 급진적 선택)는 희귀 특성 선택 문제의 모든 테스트 인스턴스에서 가장 빠른 수렴을 달성하였다.
• wall-clock 시간 측면에서 psf-g는 랜덤 선택(psf-r), 순환 선택(psf-c), 전체 블록 선택(psf-1)을 모두 능가하여 급진적 블록 반복 선택의 이점을 입증하였다.
• 근사 후행 스텝을 사용하는 psb-g 변종은 $ \lambda = 10^{-6} $ 에서는 psf-g와 거의 유사한 속도를 보였지만, $ \lambda = 10^{-8} $ 와 $ \lambda = 10^{-4} $ 에서는 유의미하게 느렸으며, 이는 튜닝 민감도와 하위문제 해의 품질에 대한 민감성을 시사한다.
• psf-g 방법은 매 반복마다 비선형 하위문제를 해결할 필요가 없기 때문에 psb-g보다 구현이 더 단순하며, 이로 인해 구현 복잡도와 파rameter 튜닝이 감소하였다.
• 백트랙킹 라인서치를 통한 전진 스텝 방법은 알려지지 않은 리프시츠 상수를 효과적으로 처리하여 사전 지식 없이도 안정적인 성능을 달성하였다.
• 기존의 tseng-pd, frb-pd, cp-bt 등의 방법들은 psf-g와 psb-g에 비해 뒤처졌으며, 이는 이 문제 유형에 대해 경쟁력이 떨어짐을 시사한다.