[논문 리뷰] Maximal Sparsity with Deep Networks?

Bo Xin, Yizhou Wang외 2명|arXiv (Cornell University)|2016. 05. 05.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 96

한 줄 요약

이 논문은 고조화도(큰 제한 이소메트리 상수를 수반함)를 가진 사전에서 최대 희소 표현을 복원하는 데 있어 전통적인 희소 추정 알고리즘을 능가하는 딥러닝 접근법을 제안한다. 고정된 알고리즘적 업데이트 대신 엔드 투 엔드 훈련을 통해 계층 가중치를 학습함으로써, 표준 방법이 실패하는 영역에서도 희소 복원 정확도가 향상된다. 이는 희소 이상치가 존재하는 광학 스테레오 문제에서 검증되었다.

ABSTRACT

The iterations of many sparse estimation algorithms are comprised of a fixed linear filter cascaded with a thresholding nonlinearity, which collectively resemble a typical neural network layer. Consequently, a lengthy sequence of algorithm iterations can be viewed as a deep network with shared, hand-crafted layer weights. It is therefore quite natural to examine the degree to which a learned network model might act as a viable surrogate for traditional sparse estimation in domains where ample training data is available. While the possibility of a reduced computational budget is readily apparent when a ceiling is imposed on the number of layers, our work primarily focuses on estimation accuracy. In particular, it is well-known that when a signal dictionary has coherent columns, as quantified by a large RIP constant, then most tractable iterative algorithms are unable to find maximally sparse representations. In contrast, we demonstrate both theoretically and empirically the potential for a trained deep network to recover minimal $\ell_0$-norm representations in regimes where existing methods fail. The resulting system is deployed on a practical photometric stereo estimation problem, where the goal is to remove sparse outliers that can disrupt the estimation of surface normals from a 3D scene.

연구 동기 및 목표

• 사전의 조화도가 높을 경우(큰 제한 이소메트리 상수로 측정됨) 전통적인 희소 추정 알고리즘이 최대 희소 해를 복원하는 데 한계를 보이는 문제를 해결하기 위해.
• 학습된 가중치를 가진 딥 네트워크가 고조화도 영역에서 반복적 희소 복원 알고리즘에 대한 우수한 대체 수단이 될 수 있는지 조사하기 위해.
• 엔드 투 엔드 훈련된 딥 네트워크가 표준 방법이 실패하는 상황에서도 정확한 지지 집합 복원과 최소 ℓ₀-노름 해를 달성할 수 있음을 보여주기 위해.
• 광학 스테레오 문제와 같은 실제 응용에서 희소 이상치에 의한 손상에 견딜 수 있는 표면 법선 추정 성능을 검증하기 위해.

제안 방법

• 반복적 희소 복원 알고리즘을 공유된 수작업 가중치를 가진 딥 네트워크로 재구성한 후, 이를 판별적 훈련을 통해 계층별로 특화된 가중치로 대체한다.
• 네트워크 아키텍처는 반복적 하드 스레셔딩(IHT)의 딥 언폴딩으로 설계되었으며, 학습 가능한 필터와 스레셔딩 구성 요소를 포함한다.
• 추정된 지지 집합에 기반해 지지 템플릿을 동적으로 갱신함으로써 부분 지지 집합 복원과 수렴 성능 향상을 가능하게 한다.
• 클러스터 중심과 활성 성분으로 구성된 압축된 사전을 사용한 수정된 IHT 업데이트 규칙을 도입하여 안정성과 희소성 향상을 도모한다.
• 두 단계 프로세스를 사용한다: 첫 번째로 클러스터 중심을 식별하고, 두 번째로 알려진 지지 정보를 활용해 잔여 성분을 복원한다.
• 훈련 과정은 희소 신호와 그 관측치의 쌍을 사용하여 최소 ℓ₀-노름 해를 최적화하기 위해 수행된다.

실험 결과

연구 질문

• RQ1 학습된 딥 네트워크가 전통적 알고리즘이 고조화도로 인해 실패하는 상황에서 희소 표현 문제에서 정확한 지지 집합 복원을 달성할 수 있는가?
• RQ2 학습된 가중치를 가진 딥 네트워크를 엔드 투 엔드로 훈련할 경우 고정된 가중치를 가진 반복 알고리즘보다 추정 정확도가 크게 향상되는가?
• RQ3 큰 제한 이소메트리 상수 존재하에 딥 네트워크가 최대 희소 해(최소 ℓ₀-노름)를 어느 정도 복원할 수 있는가?
• RQ4 광학 스테레오와 같은 실세계 응용에서 희소 이상치가 존재할 경우 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 딥 네트워크는 사전의 조화도가 높아 표준 반복적 방법이 실패하는 영역에서도 정확한 지지 집합 복원과 최소 ℓ₀-노름 해를 달성한다.
• 유한한 반복 수 이후에 진짜 희소 해로 수렴하며, 재구성 오차는 2⁻ᵗ로 지수적으로 감소한다.
• 이론적 분석 결과, 부분 지지 집합이 알려져 있을 경우 유일한 복원을 위한 필요로 하는 제한 이소메트리 상수가 크게 완화되어 고조화도 조건에서도 수렴 가능함을 보여준다.
• 광학 스테레오 문제에 대한 실증 결과는 방법이 희소 이상치를 효과적으로 제거하고 표면 법선 추정 정확도를 향상시킴을 보여준다.
• 특히 제한 이소메트리 상수가 표준 방법의 이론적 임계값을 초과할 경우, 전통적 희소 복원 알고리즘보다 정확도와 강인성 면에서 뛰어나다.