[논문 리뷰] The Projected Power Method: An Efficient Algorithm for Joint Alignment from Pairwise Differences

Yuxin Chen, Emmanuel J. Candès|arXiv (Cornell University)|2016. 09. 19.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 19

한 줄 요약

이 논문은 이산 변수를 연속 공간으로 올림으로써 이산 변수를 연속 공간으로 변환하고, 초입방체 위에서 최적화하기 위해 투영된 거듭제곱 반복을 사용하여 노이즈가 있는 쌍별 모듈로 차이에서 동시 정렬을 위한 효율적인 알고리즘인 Projected Power Method를 제안한다. 표본 복잡도가 충분할 경우 광범위한 통계 모델 하에서 높은 확률로 정확한 복원(최대우도 추정치)을 달성함을 증명한다.

ABSTRACT

Various applications involve assigning discrete label values to a collection of objects based on some pairwise noisy data. Due to the discrete---and hence nonconvex---structure of the problem, computing the optimal assignment (e.g.~maximum likelihood assignment) becomes intractable at first sight. This paper makes progress towards efficient computation by focusing on a concrete joint alignment problem---that is, the problem of recovering $n$ discrete variables $x_i \in \{1,\cdots, m\}$, $1\leq i\leq n$ given noisy observations of their modulo differences $\{x_i - x_j~\mathsf{mod}~m\}$. We propose a low-complexity and model-free procedure, which operates in a lifted space by representing distinct label values in orthogonal directions, and which attempts to optimize quadratic functions over hypercubes. Starting with a first guess computed via a spectral method, the algorithm successively refines the iterates via projected power iterations. We prove that for a broad class of statistical models, the proposed projected power method makes no error---and hence converges to the maximum likelihood estimate---in a suitable regime. Numerical experiments have been carried out on both synthetic and real data to demonstrate the practicality of our algorithm. We expect this algorithmic framework to be effective for a broad range of discrete assignment problems.

연구 동기 및 목표

• 비볼록이고 조합 구조를 가진 이산 할당 문제의 계산 비가역성 문제를 해결하기 위해.
• 노이즈가 있는 모듈로 차이에서 이산 레이블을 복원하기 위한 저복잡도, 모델에 종속되지 않는 알고리즘을 개발하기 위해.
• 제안된 방법이 광범위한 통계 모델 하에서 최대우도 추정치로 수렴함을 증명하기 위해.
• 최소한의 표본 복잡도로 높은 확률적 영역에서 정확한 복원에 대한 이론적 보장을 수립하기 위해.

제안 방법

• 서로 수직인 방향에 각각의 값이 표현되도록 이산 레이블 변수를 연속 공간으로 올림.
• 올린 공간에서의 초입방체 위에서의 이차 최적화 문제로 동시 정렬 문제를 표현함.
• 전역 최적해의 기하학적 기울기 영역 내에 들어가는 첫 번째 추정치를 확보하기 위해 스펙트럼 방법을 초기화로 사용함.
• 반복적으로 추정치를 개선하기 위해 투영된 거듭제곱 반복을 적용함으로써 반복값이 타당한 초입방체 내에 유지되도록 보장함.
• 스펙트럼 초기화 후에 투영된 거듭제곱 단계를 통해 반복 개선을 수행하는 이중 단계 프레임워크를 채택함.
• 유리한 기하학적 구조와 중간 편차 원리를 활용하여 최대우도 추정치로 수렴함을 증명함.

실험 결과

연구 질문

• RQ1 레이블 공간이 이산적이고 비볼록일 경우, 노이즈가 있는 쌍별 모듈로 차이에서 동시 정렬을 위한 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 스펙트럼 초기화를 갖는 투영된 거듭제곱 방법은 최소한의 표본 복잡도 하에서 높은 확률로 정확한 복원을 달성하는가?
• RQ3 알고리즘이 진정한 이산 레이블을 복원하는 데 성공하기 위해 필요한 최소 표본 복잡도는 얼마인가?
• RQ4 알고리즘의 성능은 쌍별 차이의 노이즈 통계 모델에 어떻게 의존하는가?
• RQ5 이산 할당 문제의 비볼록성에도 불구하고 알고리즘이 최대우도 추정치로 수렴함을 증명할 수 있는가?

주요 결과

• Projected Power Method는 광범위한 통계 모델 하에서 높은 확률로 정확한 복원(즉, 최대우도 추정치로 수렴)을 달성한다.
• 관측된 쌍별 차이 수가 $ p_{\text{obs}} \gtrsim \frac{\log^5(mn)}{n} $ 를 충족할 경우 정확한 복원이 보장된다. 여기서 $ m $ 은 레이블 값의 수이고 $ n $ 은 변수의 수이다.
• 진짜 차이와 일치하는 쌍별 측정치가 50% 이하일 경우에도 알고리즘이 성공한다.
• 이론적 분석에 따르면 전역 최적해 주변에 큰 기울기 영역이 존재하여 스펙트럼 초기화 이후 기하학적 수렴 속도가 매우 빠르게 나타난다.
• 이 방법은 모델에 종속되지 않으며, 노이즈 분포에 대한 강력한 파rametric 가정이 필요 없고, 단지 모멘트 조건만 충족하면 된다.
• 중간 편차 원리와 KL 발산 및 분산에 대한 경계를 통해 이론적 보장을 수립하였으며, 이는 알고리즘이 노이즈에 대해 강건함을 보여준다.