[논문 리뷰] Learning a Compressed Sensing Measurement Matrix via Gradient Unrolling

Shanshan Wu, Alexandros G. Dimakis외 6명|arXiv (Cornell University)|2018. 06. 26.

Sparse and Compressive Sensing Techniques인용 수 39

한 줄 요약

이 논문은 희박 데이터 내 숨겨진 구조적 패턴에 적응하는 압축 측정 행렬 $A$를 데이터 기반으로 학습하는 방법을 제안한다. 비차별적 $\ell_1$ 디코더와 함께 엔드 투 엔드 학습이 가능하도록 기울기 펼침을 사용한다. 제안된 방법은 합성 및 실제 희박 데이터셋(텍스트, 인구통계학적, 유전체 데이터 포함)에서 상태의학적 기법보다 1.1–3배 적은 측정 수를 기록하면서도 높은 재구성 정확도를 유지하며, 극단적 다중 레이블 분류 응용 분야에서도 유용하다.

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is commonly data-independent -- missing any possible extra (but a priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard gradient-based training. Our method is based on the insight that unrolling the convex decoder into $T$ projected subgradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing measurement matrix. We compare the empirical performance of 10 algorithms over 6 sparse datasets (3 synthetic and 3 real). Our experiments show that there is indeed additional structure beyond sparsity in the real datasets; our method is able to discover it and exploit it to create excellent reconstructions with fewer measurements (by a factor of 1.1-3x) compared to the previous state-of-the-art methods. We illustrate an application of our method in learning label embeddings for extreme multi-label classification, and empirically show that our method is able to match or outperform the precision scores of SLEEC, which is one of the state-of-the-art embedding-based approaches.

연구 동기 및 목표

• 데이터에 독립적인 측정 행렬의 한계를 해결하기 위해 단순 희박성 이상의 데이터 구조에 맞춰 조정된 행렬을 학습하는 것.
• 비차별적 $\ell_1$ 디코더로 인해 기울기 기반 학습이 어려운 측정 행렬의 학습을 가능하게 하는 것.
• 희박 데이터셋 내 숨겨진 상관관계를 활용하여 더 적은 측정 수로도 뛰어난 재구성 성능를 달성하는 것.
• 학습된 행렬이 극단적 다중 레이블 분류와 같은 후행 작업에서의 유용성을 입증하는 것.
• 고차원 희박 데이터에 대해 유의미하고 해석 가능하며 효율적인 선형 인코더를 제공하는 것.

제안 방법

• 기울기 펼침을 사용해 $\ell_1$ 디코더를 $T$단계의 투영된 서브기울기 단계로 근사함으로써, 디코더를 통해 역전파가 가능하도록 만든다.
• 측정 행렬 학습을 선형 인코더($A$)와 비선형 디코더($D(A, \cdot)$)를 갖는 오토인코더로 설정하며, 이 디코더는 $\ell_1$ 최소화 문제를 해결한다.
• 실제 재구성 오차를 최소화하는 방식으로 측정 행렬 $A$를 엔드 투 엔드로 학습한다: $\sum_{i=1}^n \|x_i - D(A, Ax_i)\|_2^2$.
• 펼친 최적화를 적용하여 $\ell_1$ 기반 복구 과정을 차별 가능하게 만들고, 역전파를 통한 학습이 가능하도록 한다.
• 학습된 행렬 $A$를 희박 데이터 내 구조적 패턴을 포착하는 데이터 기반 측정 행렬로 활용한다.
• 레이블 임베딩을 $Z = AY$ 방식으로 학습하고, 예측에 표준 선형 맵핑을 사용함으로써 극단적 다중 레이블 분류에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 데이터 기반 측정 행렬은 단순한 희박성 이상의 희박 데이터 내 숨겨진 구조적 패턴을 학습할 수 있는가?
• RQ2 기울기 펼침을 통해 비차별적 $\ell_1$ 디코더가 존재하는 상황에서도 압축 측정 행렬의 엔드 투 엔드 학습이 가능한가?
• RQ3 데이터 구조에 맞춰 조정되는 측정 행렬 학습이 정확한 복구를 위해 필요한 측정 수를 줄일 수 있는가?
• RQ4 학습된 측정 행렬은 극단적 다중 레이블 분류와 같은 후행 작업에서 성능 향상을 이끌 수 있는가?
• RQ5 제안된 방법은 재구성 정확도 및 측정 효율성 측면에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 6개의 희박 데이터셋(3개의 합성, 3개의 실제 데이터)에서 최신 기술 대비 정확한 재구성에 필요한 측정 수를 1.1–3배 줄였다.
• 이 방법은 실제 희박 데이터셋(예: 텍스트, 인구통계학적, 유전체 데이터) 내에서 상관관계 있는 특징과 같은 숨겨진 구조적 패턴을 성공적으로 발견하고 활용한다.
• 극단적 다중 레이블 분류에서, EURLex-4K와 Wiki10-31K에서 SLEEC와 동등하거나 이를 초월하는 정밀도를 기록하였으며, Wiki10-31K에서 P@1이 0.8617인 단일 모델이 성능을 달성했다.
• 세 개 또는 다섯 개의 모델을 앙상블하면 SLEEC와 유사하거나 더 높은 정밀도를 기록하였으며, Wiki10-31K에서 P@1이 0.8640이었다.
• 학습된 측정 행렬은 각 열이 학습된 특징 임베딩에 해당하므로 해석 가능하며, 선형 인코딩 덕분에 계산적으로 효율적이다.
• 고정된 $\ell_1$ 디코더를 사용하더라도 데이터 기반으로 $A$를 학습함으로써 랜덤 또는 고정 행렬 대비 뚜렷한 성능 향상을 이룬다.