[논문 리뷰] L p -Norm Constrained Coding With Frank-Wolfe Network.

Ke Sun, Zhangyang Wang외 2명|arXiv (Cornell University)|2018. 02. 28.

Sparse and Compressive Sensing Techniques참고 문헌 81인용 수 1

한 줄 요약

이 논문은 $L_p$-노름 제약을 갖는 코딩을 해결하기 위해 프랭크-울프 알고리즘을 풀어내어 유연한 $pool_p$ 단위를 도입한 딥러닝 아키텍처인 프랭크-울프 네트워크(F-W Net)를 제안한다. 이 단위는 풀링, 활성화, 정규화를 일반화하며, $p$-노름 파라미터의 엔드 투 엔드 학습을 가능하게 하여 이미지 복원, 초해상도 복원, 분류 등 다양한 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 BSD-68 기준 이미지 노이즈 제거에서 2 dB 이상의 성능 향상을 기록한다.

ABSTRACT

We investigate the problem of $L_p$-norm constrained coding, i.e. converting signal into code that lies inside the $L_p$-ball and most faithfully reconstructs the signal. While previous works known as sparse coding have addressed the cases of $\ell_0$ norm and $L_1$-norm, more general cases with other $p$ values, especially with unknown $p$, remain a difficulty. We propose the Frank-Wolfe Network (F-W Net), whose architecture is inspired by unrolling and truncating the Frank-Wolfe algorithm for solving an $L_p$-norm constrained problem. We show that the Frank-Wolfe solver for the $L_p$-norm constraint leads to a novel closed-form nonlinear unit, which is parameterized by $p$ and termed $pool_p$. The $pool_p$ unit links the conventional pooling, activation, and normalization operations, making F-W Net distinct from existing deep models either heuristically designed or converted from projection gradient descent or proximal algorithms. We further show that the hyper-parameter $p$ can be made learnable instead of pre-chosen in F-W Net, which gracefully solves the $L_p$-norm constrained coding problem with unknown $p$. A convolutional extension of F-W Net is then presented. We evaluate the performance of F-W Net on an extensive range of simulations to show the strong learning capability of F-W Net. We then adopt F-W Net or Convolutional F-W Net on a series of real-data tasks that are all formulated as $L_p$-norm constrained coding, including image classification, image denoising, and super-resolution, where F-W Net all demonstrates impressive effectiveness, flexibility, and robustness. In particular, F-W Net achieves significantly better performance than the state-of-the-art convolutional networks on image denoising, leading to more than 2 dB gain on the BSD-68 dataset.

연구 동기 및 목표

• 일반적인 $p$에 대해 $L_p$-노름 제약을 갖는 코딩 문제를 해결하는 데 도전하며, 특히 $p$가 알려져 있지 않은 경우를 포함한다.
• 히우리스틱 설계에 의존하지 않고 $L_p$-노름 제약를 자연스럽게 통합할 수 있는 딥 네트워크 아키텍처를 개발한다.
• 네트워크 내에서 $p$-노름 파라미터를 엔드 투 엔드로 학습시켜 데이터 기반 최적의 $p$ 값에 자동으로 적응할 수 있도록 한다.
• 실제 이미지 복원 작업을 위한 공간적 구조를 갖춘 데이터에 적합한 컨volutional 설정으로 프레임워크를 확장한다.
• 이미지 노이즈 제거, 초해상도 복원, 분류 등 다양한 $L_p$-노름 제약 작업에서 뛰어난 성능을 보여준다.

제안 방법

• 프랭크-울프 알고리즘을 풀어내어 $L_p$-노름 제약 최적화를 위한 미분 가능하고 반복적인 네트워크 아키텍처를 유도한다.
• $pool_p$ 단위를 도입하여 $p$에 의해 파arameter화된 닫힌 형태의 비선형 활성화를 제공함으로써 풀링, 정규화, 비선형성의 일반화를 달성한다.
• 프리페어드 포워드 네트워크 아키텍처에 $pool_p$ 단위를 통합하여 프랭크-울프 네트워크(F-W Net)를 구성한다.
• $p$ 하이퍼파라미터를 역전파를 통해 학습 가능하게 하여 네트워크가 각 작업에 최적의 $p$를 자동으로 결정할 수 있도록 한다.
• 이미지와 같은 공간적 구조를 갖는 데이터에 적합한 F-W Net의 컨volutional 확장판을 구축한다.
• 표준 최적화 기법을 사용하여 $L_p$-노름 제약 복원 목표 함수에 대해 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 프랭크-울프 알고리즘이 $L_p$-노름 제약 코딩을 위한 미분 가능한 딥 네트워크 아키텍처로 효과적으로 풀어질 수 있는가?
• RQ2 제안된 $pool_p$ 단위가 $L_p$-노름 제약를 유지하면서도 기존 신경망 연산의 의미 있는 일반화를 제공하는가?
• RQ3 $L_p$-노름 코딩에서 $p$ 파라미터가 훈련 중에 엔드 투 엔드로 효과적으로 학습되어, 알려지지 않은 $p$ 설정에서 성능 향상을 이끌 수 있는가?
• RQ4 실제 $L_p$-노름 제약 작업, 예를 들어 이미지 노이즈 제거 및 초해상도 복원에서 F-W Net은 최신 기술 수준 모델보다 우수한 성능을 보이는가?
• RQ5 F-W Net의 컨volutional 확장판은 강력한 성능 향상을 보이며 이미지 복원 과제에 효과적으로 일반화되는가?

주요 결과

• F-W Net은 BSD-68 이미지 노이즈 제거 벤치마크에서 최신 기술 수준 모델 대비 PSNR 성능이 2 dB 이상 향상되었다.
• F-W Net의 학습 가능한 $p$ 파라미터는 최적의 $p$ 값에 자동으로 적응함으로써 다양한 작업에서 강건성과 성능 향상을 향상시킨다.
• $pool_p$ 단위는 풀링, 활성화, 정규화를 하나의 미분 가능한 연산으로 통합하며, $p$에 의해 파라미터화되어 모델 표현력을 향상시킨다.
• F-W Net의 컨볼루션 확장판은 이미지 초해상도 복원 및 분류 과제에서 뛰어난 성능을 보이며, 복잡한 비전 과제로의 확장성과 성능을 확인한다.
• 광범위한 시뮬레이션과 실제 데이터 평가 결과, F-W Net은 여러 $L_p$-노름 제약 코딩 문제에 대해 우수한 일반화 성능을 보이며 일관된 성능 향상을 보였다.