[논문 리뷰] Relative Interior Rule in Block-Coordinate Minimization

Tomáš Werner, Daniel Průša|arXiv (Cornell University)|2019. 10. 21.

Advanced Numerical Analysis Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 블록좌표 최소화에 대해 상대 내부 규칙(relative interior rule)을 제안하며, 각 반복 단계에서 현재 블록에 대한 최적 집합의 상대 내부에서 최소화자를 선택함으로써 보장한다. 주요 기여는 이러한 규칙을 따르는 방법이 다른 어떤 블록좌표 방법보다 열 劣하지 않음을 증명한 것이다: 수렴 행동을 유지하거나 향상시키며, 부분 최적점에 정체되는 것을 방지하고, 약한 조건 하에 내부 국소 최소점으로 수렴함을 보장한다.

ABSTRACT

(Block-)coordinate minimization is an iterative optimization method which in every iteration finds a global minimum of the objective over a variable or a subset of variables, while keeping the remaining variables constant. While for some problems, coordinate minimization converges to a global minimum (e.g., convex differentiable objective), for general (non-differentiable) convex problems this may not be the case. Despite this drawback, (block-)coordinate minimization can be an acceptable option for large-scale non-differentiable convex problems; an example is methods to solve the linear programming relaxation of the discrete energy minimization problem (MAP inference in graphical models). When block-coordinate minimization is applied to a general convex problem, in every iteration the minimizer over the current coordinate block need not be unique and therefore a single minimizer must be chosen. We propose that this minimizer be chosen from the relative interior of the set of all minimizers over the current block. We show that this rule is not worse, in a certain precise sense, than any other rule.

연구 동기 및 목표

• 좌표 블록에서 최소화자가 유일하지 않은 경우 발생하는 블록좌표 최소화 방법의 불안정성과 부분 최적 수렴 문제를 해결하기 위해.
• 수렴 품질과 강건성을 향상시키기 위한 체계적인 최소화자 선택 규칙을 체계화하기 위해.
• 최소화자를 최적 집합의 상대 내부에서 선택함으로써, 임의의 최소화자 선택보다 열 劣하지 않은 성능을 보장함을 증명하기 위해.
• 이러한 방법이 나쁜 국소 최소점에 갇히는 것을 방지하고, 더 나은 품질의 해로 수렴함을 보장하는 이론적 보장을 수립하기 위해.

제안 방법

• 국소 최소점의 내부 정의를 도입하며, 이를 각 블록에서의 최소화자가 최적 집합의 상대 내부에 위치할 때 정의한다.
• 임의의 최소화자를 선택하는 표준 블록좌표 최소화를 대체하여, 항상 최소화자 집합의 상대 내부에서 선택하는 규칙을 도입한다.
• 목적 함수의 에피그래프 표현을 사용하고, 탐색 공간을 함수 값까지 포함하도록 확장함으로써, 볼록 기하학을 통한 분석을 가능하게 한다.
• 상대 내부 규칙에 따라 유한한 수의 단계 내에 내부 국소 최소점에 도달하는 점을 사전 내부 국소 최소점(pre-interior local minimum)으로 정의한다.
• 업데이트를 통해 상대 내부 규칙을 적용한다: $ x_{n+1} riangleq ext{ri}(M(X igcap (x_n + I_n), f)) $, 이는 강건성과 더 나은 해로의 수렴을 보장한다.
• 상승된 부분공간 $ \bar{I} = I \times \mathbb{R} $ 하에서 원래 공간과 에피그래프 공간의 국소 최소점 간의 동치성을 증명한다.

실험 결과

연구 질문

• RQ1 블록좌표 최소화에서 최소화자를 선택하는 체계적인 규칙이 수렴 품질을 향상시키고 나쁜 국소 최소점에서 갇히는 것을 방지할 수 있는가?
• RQ2 최적 집합의 상대 내부에서 최소화자를 선택하는 것이 임의의 선택보다 열 劣하지 않은 수렴 행동을 보장하는가?
• RQ3 상대 내부 규칙 하에서 사전 내부 국소 최소점과 내부 국소 최소점 간의 관계는 어떠한가?
• RQ4 표준 블록좌표 방법과 비교할 때 상대 내부 규칙은 수렴성과 목적 함수 값 향상 측면에서 어떻게 다른가?

주요 결과

• 상대 내부 규칙에 의해 생성된 임의의 수열은 목적 함수 값을 유지하거나 향상시키며, 초기점이 사전 내부 국소 최소점이라면 유한한 단계 내에 내부 국소 최소점에 도달한다.
• 초기점이 사전 내부 국소 최소점이 아니라면, 목적 함수 값은 유한한 수의 단계 이후에 엄밀히 감소하므로 진전이 보장된다.
• 상대 내부 규칙은 내부 국소 최소점에 도달한 이후에도 이를 모든 후속 반복에서 유지함을 보장한다.
• 이 방법은 다른 어떤 블록좌표 최소화 방법보다 열 劣하지 않다: 임의의 최소화자 선택이 가능하게 하는 최선의 결과를 유지하거나 이를 초월한다.
• 에피그래프 재구성은 국소 최소점의 구조를 유지하며, 상대 내부 규칙은 정확히 에피그래프의 최소화자 집합의 상대 내부에 있는 점들을 선택하는 것과 일치한다.
• Max-sum diffusion는 상대 내부 규칙을 만족하며, 제안된 방법은 그 유의미한 경험적 성능를 일반화하고 정당화한다.