[논문 리뷰] Projections Onto Convex Sets (POCS) Based Optimization by Lifting

Ahmet Enis Çetin, Alican Bozkurt외 5명|arXiv (Cornell University)|2013. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 볼록 및 일부 비볼록 최적화 문제의 차원을 한 단계 높임으로써, 비볼록 최적화 문제의 차원을 한 단계 높여 R^{N+1}에서 비볼록 집합으로 비용 함수를 변환하는 새로운 POCS 기반 최적화 프레임워크를 제안한다. 이 방법은 반복적으로 이 집합과 수준 집합에 수직 투영함으로써 전체 변화량, l1, 엔트로피, 필터링된 변화량 함수에 대해 전역 최적해를 달성하며, 지지 초평면을 사용하여 l_p, p<1 함수에 대해서도 실험적으로 성공한다.

ABSTRACT

Two new optimization techniques based on projections onto convex space (POCS) framework for solving convex and some non-convex optimization problems are presented. The dimension of the minimization problem is lifted by one and sets corresponding to the cost function are defined. If the cost function is a convex function in R^N the corresponding set is a convex set in R^(N+1). The iterative optimization approach starts with an arbitrary initial estimate in R^(N+1) and an orthogonal projection is performed onto one of the sets in a sequential manner at each step of the optimization problem. The method provides globally optimal solutions in total-variation, filtered variation, l1, and entropic cost functions. It is also experimentally observed that cost functions based on lp, p&lt;1 can be handled by using the supporting hyperplane concept.

연구 동기 및 목표

• 볼록 및 비볼록 비용 함수에 대한 전역 최적화를 가능하게 하는 차원 높이기 기반 POCS 프레임워크를 개발하기 위해.
• Bregman D-투영의 계산 복잡성을 줄이기 위해 이를 높인 볼록 집합에 대한 수직 투영으로 대체하기 위해.
• 지지 초평면 근사치를 통해 POCS의 적용 범위를 l_p, p<1과 같은 비볼록 함수로 확장하기 위해.
• 역신호 및 영상 복원 분야에서 기존 반복 최적화 방법에 대한 계산 효율성이 높은 대안을 제공하기 위해.

제안 방법

• f(w)가 볼록일 경우에만, C_f = { [w^T y]^T | y ≥ f(w) }로 정의된 집합을 통해 원래의 N차원 최적화 문제를 R^{N+1}로 높인다.
• α가 상수일 때, R^{N+1}에서 C_s = { [w^T y]^T | y ≤ α }로 정의된 수준 집합을 정의하여 두 번째 볼록 집합을 형성한다.
• R^{N+1}의 임의의 초기 점에서 시작하여 C_f와 C_s 사이를 번갈아가며 수직 투영을 수행함으로써 전역 최소값으로 수렴한다.
• 비볼록 l_p, p<1 함수의 경우, 현재 반복점에서의 지지 초평면을 사용하여 비용 함수 표면을 근사하고 투영을 수행한다.
• 반복적으로 방법을 적용하여, 먼저 C_s에 투영하고, 그 다음 현재 점에서 C_f의 지지 초평면에 투영함으로써 반복점을 갱신한다.
• 추가적인 볼록 제약 조건을 포함하기 위해 투영 순서를 제약 집합을 포함하도록 확장하며, 교차하지 않는 집합의 경우 집합 확장 또는 수정된 투영 규칙 전략을 통해 처리한다.

실험 결과

연구 질문

• RQ1 POCS 프레임워크는 문제의 차원을 높이고 높인 볼록 집합에 대한 수직 투영을 사용함으로써 볼록 최적화 문제를 해결하는 데 적응 가능할 수 있는가?
• RQ2 비볼록 l_p, p<1 함수는 비볼록성에도 불구하고 POCS 기반 접근법을 통해 어떻게 최소화할 수 있는가?
• RQ3 지지 초평면은 비볼록 비용 함수를 근사하고 전역 최소값으로의 수렴을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 그 교차가 공집합이거나 비자명한 경우, 다수의 볼록 제약 조건을 다룰 수 있도록 방법을 어떻게 확장할 수 있는가?
• RQ5 일련의 수직 투영을 통해 다수의 국소 최소값을 가진 비볼록 함수를 최소화하기 위해 일반화된 지지 초평면을 사용할 수 있는가?

주요 결과

• 이 방법은 R^{N+1}로 문제를 높이고 번갈아가며 수직 투영을 수행함으로써 전체 변화량, 필터링된 변화량, l1, 엔트로피 함수와 같은 볼록 비용 함수에 대해 전역 최적해를 달성한다.
• l_p, p<1 함수의 경우, 비용 함수가 비볼록함에도 불구하고 반복적인 지지 초평면에 대한 투영을 통해 전역 최소값으로 수렴하는 데 성공한다.
• 지지 초평면에 대한 투영은 비선형 방정식의 해를 구할 필요가 없어 계산적으로 효율적이며, 실세계 응용에 실용적이다.
• 다수의 볼록 제약 조건이 존재하고 그 교차가 공집합일 경우, 방법은 여전히 최적해를 포함하는 한 주기적 수렴을 보이며, 교차하지 않는 집합에 대한 강건성을 시사한다.
• Bregman D-투영을 계산할 필요 없이, Bregman 원래 프레임워크에 비해 계산이 더 단순한 대안을 제공한다.
• 이 방법은 f(w) = |w−2|^{0.5}+1과 같은 비볼록 함수를 탄성 및 지지 초평면을 사용하여 실험적으로 처리하여 전역 최소값으로 수렴함을 검증하였다.