[논문 리뷰] Optimal dictionary for least squares representation

Mohammed Rayyan Sheriff, Debasish Chatterjee|arXiv (Cornell University)|2016. 03. 07.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 두 번째 순서 통계가 알려진 랜덤 벡터에 대해 표현 계수의 기대 $ε$-노름을 최소화하는 $ε$-최적 사전을 구성하기 위한 알고리즘 프레임워크를 제안한다. 공분산 구조에서 유도된 대칭 정반비례 행렬의 랭크-1 분해를 활용하여, 다항 시간 내에 최적의 사전과 관련 복원 기법을 계산할 수 있으며, 주어진 사전 크기 $K$에 대해 계수의 평균 $ε$-노름을 이론적으로 최소화한다.

ABSTRACT

Dictionaries are collections of vectors used for representations of random vectors in Euclidean spaces. Recent research on optimal dictionaries is focused on constructing dictionaries that offer sparse representations, i.e., $\ell_0$-optimal representations. Here we consider the problem of finding optimal dictionaries with which representations of samples of a random vector are optimal in an $\ell_2$-sense: optimality of representation is defined as attaining the minimal average $\ell_2$-norm of the coefficients used to represent the random vector. With the help of recent results on rank-$1$ decompositions of symmetric positive semidefinite matrices, we provide an explicit description of $\ell_2$-optimal dictionaries as well as their algorithmic constructions in polynomial time.

연구 동기 및 목표

• 두 번째 순서 통계가 알려진 랜덤 벡터에 대해 표현 계수의 기대 $ε$-노름을 최소화하는 사전을 구성하는 문제를 다루는 것.
• 공분산에서 유도된 행렬의 랭크-1 분해를 사용하여 $ε$-최적 사전의 명시적 특성화를 제공하는 것.
• 최적 사전과 관련 복원 기법을 계산하는 다항 시간 알고리즘을 개발하는 것.
• 주어진 사전 크기 $K$에 대해 계수의 평균 $ε$-노름이 이론적으로 가능한 최소값에 도달함을 증명함으로써 해의 이론적 최적성을 확립하는 것.
• 프레임워크를 일반 부분공간 및 유한 차원 랜덤 벡터 표현으로 확장하여 제어 이론적 응용을 포함하는 것.

제안 방법

• 공분산 행렬 $Σ_V^{1/2}$ 와 $Σ_V$ 의 이미지 기저 $B$ 로부터 대칭 정반비례 행렬 $H^*$ 를 유도한다.
• 목표 랭크-1 분해를 정의하기 위해 스케일된 행렬 $H = \frac{K}{\operatorname{tr}(\Sigma^{1/2})} (B^{ op}B)^{-1/2} \Sigma^{1/2} (B^{ op}B)^{-1/2}$ 를 구성한다.
• 행렬 $H$ 를 랭크-1 행렬들의 합 $\sum_{i=1}^K \delta_i^* \delta_i^{*\top} = H^*$ 로 분해하기 위해 랭크-1 분해 알고리즘(알고리즘 1)을 적용한다.
• 결과로 얻은 벡터 $\delta_i^*$ 를 $d_i^* = B \delta_i^*$ 로 변환하여 원래 공간 $\mathbb{R}^n$ 에서의 최종 사전 벡터를 도출한다.
• 복원 기법을 $f^*(v) = (D^*)^+ v$ 로 정의한다. 여기서 $D^* = [d_1^* \; \cdots \; d_K^*]$ 이고 $(\cdot)^+$ 는 모어-펜로즈 역행렬을 의미한다.
• 해가 제약 조건 $\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$ 을 만족하도록 보장하여 계수 공간 내에서 최적의 에너지 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 두 번째 순서 통계가 알려진 랜덤 벡터에 대해 표현 계수의 기대 $ε$-노름을 최소화하는 사전의 구조는 어떠한가?
• RQ2 볼록 최적화 및 행렬 분해 기법을 사용하여 다항 시간 내에 $ε$-최적 사전을 구성할 수 있는가?
• RQ3 최적 사전는 공분산 행렬과 표현 부분공간의 차원으로 어떻게 매개변수화될 수 있는가?
• RQ4 계수의 평균 $ε$-노름에 대한 이론적 하한은 무엇이며, 유한한 사전로 이를 도달할 수 있는가?
• RQ5 제안된 방법은 부분공간 및 에너지 최소화 상태 전이와 같은 제어 이론적 응용으로 어떻게 일반화될 수 있는가?

주요 결과

• $ε$-최적 사전가 존재하며, 이는 랜덤 벡터의 공분산 행렬의 제곱근과 이미지 기저에서 유도된 행렬의 랭크-1 분해에 의해 특성화된다.
• 목적 함수의 최적 값(계수의 기대 $ε$-노름)은 $\frac{(\operatorname{tr}(\Sigma^{1/2}))^2}{K}$ 로, 사전 크기 $K$ 에 대해 이론적으로 도달 가능한 최소값이다.
• 알고리즘은 행렬 분해와 선형 대수 연산을 사용하여 다항 시간 내에 최적 사전과 복원 기법을 구성한다.
• 해법은 임의의 부분공간 $X_V \subset \mathbb{R}^n$ 으로 일반화되며, 사전는 $\operatorname{image}(\Sigma_V)$ 의 기저에서 유도된다.
• 최적 사전는 표현 계수의 평균 에너지를 최소화하며, $\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$ 이 성립하여 계수당 단위 에너지 비용을 보장한다.
• 이 프레임워크는 제어 시스템에 적용 가능하며, 제어 입력의 $ε$-노름을 최소화함으로써 에너지 최소화 상태 전이를 가능하게 한다.