[논문 리뷰] Alternating conditional gradient method for convex feasibility problems

R. Díaz Millán, O. P. Ferreira외 1명|arXiv (Cornell University)|2019. 12. 09.

Optimization and Variational Analysis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 볼록 가능항 문제를 위한 교대 조건 경사법(ACondG)을 제안한다. 이 방법은 한 집합에 대한 정확한 투영과 다른 집합에 대한 조건 경사법(CondG)을 이용한 비정확한 투영을 조합한다. 교차가 비어 있지 않은 경우 해가 존재하는 점으로 수렴하고, 서로소인 집합의 경우 가장 가까운 점들로 수렴하며, 수치 실험에서 정확한 투영 방법보다 더 빠른 수렴 속도와 더 적은 반복 횟수를 보였다.

ABSTRACT

The classical convex feasibility problem in a finite dimensional Euclidean space is studied in the present paper. We are interested in two cases. First, we assume to know how to compute an exact project onto one of the sets involved and the other set is compact such that the conditional gradient (CondG) method can be used for computing efficiently an inexact projection on it. Second, we assume that both sets involved are compact such that the CondG method can be used for computing efficiently inexact projections on them. We combine alternating projection method with CondG method to design a new method, which can be seen as an inexact feasible version of alternate projection method. The proposed method generates two different sequences belonging to each involved set, which converge to a point in the intersection of them whenever it is not empty. If the intersection is empty, then the sequences converge to points in the respective sets whose distance is equal to the distance between the sets in consideration.

연구 동기 및 목표

• 정확한 투영이 계산적으로 비용이 많이 드는 유한 차원 유클리드 공간 내 볼록 가능항 문제를 해결하기 위함.
• 각 반복에서 계산 비용을 줄이기 위해 조건 경사법(CondG)을 이용한 비정확한 투영을 사용하는 방법을 개발하기 위함.
• 교차가 존재하는 경우 두 볼록 집합의 교차 내의 타당한 점으로 수렴함을 보장하기 위함.
• 비정확한 투영이 정확한 투영보다 반복 횟수와 안정성 측면에서 수치 실험에서 뛰어나다는 것을 입증하기 위함.

제안 방법

• 한 집합에 대한 정확한 투영과 다른 집합에 대한 조건 경사법(CondG)을 이용한 비정확하고 효율적인 투영을 번갈아 수행한다.
• 두 수열 $ (x^k) \subset A $ 및 $ (y^k) \subset B $을 생성하며, 교차가 비어 있지 않은 경우 $ A \cap B $ 내의 점으로 수렴한다.
• 집합이 서로소인 경우, 수열은 $ x^* \in A $, $ y^* \in B $로 수렴하며, 이때 $ \|x^* - y^*\| = \mathrm{dist}(A,B) $를 만족한다.
• 특수한 구조를 지닌 컴act 집합에 대해 조건 경사법을 사용하여 비정확한 투영을 계산하며, 희소성과 분리 가능성을 활용해 반복당 비용을 낮춘다.
• 전통적인 교대 투영 방법의 비정확한 변종으로 설계되었으며, 반복이 진행됨에 따라 비정확한 투영의 정확도가 점차 향상된다.
• 두 가지 버전을 제안한다: 하나는 한 집합에 대해 정확한 투영, 다른 집합에 대해 CondG를 적용하는 것이며, 다른 하나는 두 집합에 모두 CondG를 적용하는 것이다.

실험 결과

연구 질문

• RQ1 정확한 투영을 조건 경사법(CondG)으로 계산된 비정확한 투영으로 대체함으로써 교대 투영 방법의 효율성을 높일 수 있는가?
• RQ2 교차가 비어 있지 않은 경우, 제안된 ACondG 방법이 두 볼록 집합의 교차 내의 타당한 점으로 수렴하는가?
• RQ3 교차가 공집합인 경우 반복값은 어떻게 되는가? 이 방법은 집합 간 가장 가까운 점들로 수렴하는가?
• RQ4 비정확한 ACondG 방법의 성능은 반복 횟수와 타당성 위반 측정치 측면에서 정확한 교대 투영 방법과 비교해 어떻게 되는가?
• RQ5 CondG를 비정확한 투영에 사용하면, 특히 내부 교차가 존재하는 문제에서 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• 교차가 비어 있지 않은 경우, ACondG-2는 각각 2, 2, 8, 155회의 반복 후 타당한 점을 찾았고, 정확한 방법은 진행이 되지 못했다.
• 불가능한 경우, ACondG-2는 각각 33, 5, 3, 2회의 반복 후 타당성 위반 측정치 $ \mathcal{O}(10^{-4}) $, $ \mathcal{O}(10^{-3}) $, $ \mathcal{O}(10^{-2}) $, $ \mathcal{O}(10^{-1}) $을 달성했다.
• 정확한 방법은 유사한 타당성 위반 수준에 도달하기 위해 각각 82, 15, 5, 2회의 반복이 필요했으며, 이는 ACondG-2가 집합 간 가장 가까운 영역으로 더 빠르게 수렴함을 시사한다.
• 평균적으로 ACondG-2는 정확한 방법보다 정지 조건을 충족하기 위해 필요한 반복 횟수를 65.7% 줄였다.
• 이 방법은 내부 교차가 존재하는 문제에서 특히 뛰어난 수렴 속도와 안정성을 보였으며, 유한한 반복 횟수 내에 수렴하였다.
• 수치 결과는 비정확한 투영이 CondG를 통해 계산될 경우, 테스트된 문제 유형에서 반복 효율성과 안정성 측면에서 정확한 투영을 능가한다는 것을 시사한다.