[논문 리뷰] Deep Network Classification by Scattering and Homotopy Dictionary Learning

J. Zarka, Louis Thiry외 2명|arXiv (Cornell University)|2019. 10. 08.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 21

한 줄 요약

이 논문은 복잡한 학습된 레이어를 단일 학습된 사전으로 대체하는 희박한 산산이 흩어진 네트워크를 제안하며, 양의 ℓ¹ 희박 코딩을 통한 내부 클래스 변동성 감소로 AlexNet을 능가하는 더 높은 ImageNet top-1 정확도(83.7%)를 달성한다. 이 방법은 깊이 있는 컨volution 레이어 내에서 빠르고 지수 수렴하는 희박 코딩을 위한 호모토피 기반 반복 임계값 처리를 사용한다.

ABSTRACT

We introduce a sparse scattering deep convolutional neural network, which provides a simple model to analyze properties of deep representation learning for classification. Learning a single dictionary matrix with a classifier yields a higher classification accuracy than AlexNet over the ImageNet 2012 dataset. The network first applies a scattering transform that linearizes variabilities due to geometric transformations such as translations and small deformations. A sparse $\\ell^1$ dictionary coding reduces intra-class variability while preserving class separation through projections over unions of linear spaces. It is implemented in a deep convolutional network with a homotopy algorithm having an exponential convergence. A convergence proof is given in a general framework that includes ALISTA. Classification results are analyzed on ImageNet.

연구 동기 및 목표

• 복잡한 네트워크를 단일 학습된 사전 행렬로 단순화하여 깊이 있는 표현 학습을 개선한다.
• 사전 학습이 산산이 흩어진 표현의 성능 향상에 어떻게 기여하는지 분석한다.
• 희박 코딩을 위한 수학적으로 다룰 수 있고 수렴성이 보장된 깊이 있는 네트워크 아키텍처를 개발한다.
• 다중 레이어 학습 블록을 피하고 단일 학습된 사전만을 사용하여 ImageNet에서 높은 분류 정확도를 달성한다.

제안 방법

• 네트워크는 이동 및 소규모 변형과 같은 기하학적 변형을 선형화하기 위해 사전 정의된 산산이 흩어진 변환을 적용한다.
• 산산이 흩어진 계수는 학습된 사전 행렬 D를 통해 투영되어 양의 ℓ¹ 희박 코드 α를 계산한다.
• 희박 코딩에 호모토피 기반 반복 소프트 임계값 처리 알고리즘(ISTC)을 사용하며, 일반 조건 하에서 지수 수렴이 증명된다.
• 분류 손실을 최소화하기 위해 사전 D와 분류기 모두를 확률적 경사 하강법을 통해 공동 최적화한다.
• 사전는 분류기와 함께 엔드 투 엔드로 학습되는 간소화된 깊이 있는 컨volution 아키텍처를 사용한다.
• 알고리즘은 ReLU 활성화 함수를 사용하며, ALISTA와 호모토피 계속성의 구조를 활용해 빠른 수렴을 이룬다.

실험 결과

연구 질문

• RQ1 단일 학습된 사전 행렬이 ImageNet에서 사전 정의된 산산이 흩어진 표현의 성능을 크게 향상시킬 수 있는가?
• RQ2 지수 수렴이 보장되는 호모토피 기반 희박 코딩이 표준 ISTA 또는 FISTA에 비해 깊이 있는 네트워크의 최적화에 더 나은 성능을 내는가?
• RQ3 산산이 흩어진 계수에 대한 희박 코딩이 내부 클래스 변동성을 어떻게 줄이고 동시에 외부 클래스 분리성을 유지하는가?
• RQ4 정확도를 잃지 않고 깊이 있는 네트워크를 단일 사전 학습 문제로 얼마나 단순화할 수 있는가?
• RQ5 이 프레임워크에서 호모토피 희박 코딩 알고리즘의 지수 수렴을 보장하는 수학적 조건은 무엇인가?

주요 결과

• 제안된 희박한 산산이 흩어진 네트워크는 ImageNet 2012에서 top-1 정확도 83.7%를 달성하여 AlexNet의 성능을 뛰어넘는다.
• 양의 ℓ¹ 희박 코딩을 사용하는 단일 학습된 사전 D를 적용하면 산산이 흩어진 표현의 근사 오차가 거의 절반 감소하며, 이는 비정보성 잡음(클러터)으로 해석된다.
• W = D를 갖는 호모토피 ISTC 알고리즘은 이론적 비일관성 조건이 충족되지 않더라도 실질적으로 지수 수렴을 보인다.
• 12회의 반복 후 ISTC는 상대적 평균 제곱 오차를 0.02로 줄여 FISTA(0.23)와 ISTA(0.45)를 모두 능가한다.
• 전체 산산이 흩어진 표현 LSx를 희박한 코드 Dα¹으로 대체하면, α¹을 직접 사용하는 것보다 분류 정확도가 14% 향상된다.
• 학습된 사전 벡터 Dm은 산산이 흩어진 계수 공간에서 분류 기반 특징으로 작용하며, 클래스를 구분하는 방향을 유지하도록 최적화된다.