[논문 리뷰] Multi-bin Trainable Linear Unit for Fast Image Restoration Networks

Shuhang Gu, Radu Timofte외 1명|arXiv (Cornell University)|2018. 07. 30.

Advanced Image Processing Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 계산 비용을 증가시키지 않으면서 딥 네트워크의 비선형 모델링 능력을 향상시키는 새로운 활성화 함수인 멀티바인 트레이너블 린어 유닛(MTLU)을 제안한다. 등간격의 버킷에 걸쳐 조각별 선형 근사를 사용함으로써, 이미지 초해상도 복원 및 노이즈 제거를 위한 더 빠르고 얕은 네트워크(FSRnet 및 FDnet)를 가능하게 하여 최신 기준 PSNR를 달성하고, DnCNN 대비 최대 10배 빠른 추론 속도와 15배의 속도 향상을 이룬다.

ABSTRACT

Tremendous advances in image restoration tasks such as denoising and super-resolution have been achieved using neural networks. Such approaches generally employ very deep architectures, large number of parameters, large receptive fields and high nonlinear modeling capacity. In order to obtain efficient and fast image restoration networks one should improve upon the above mentioned requirements. In this paper we propose a novel activation function, the multi-bin trainable linear unit (MTLU), for increasing the nonlinear modeling capacity together with lighter and shallower networks. We validate the proposed fast image restoration networks for image denoising (FDnet) and super-resolution (FSRnet) on standard benchmarks. We achieve large improvements in both memory and runtime over current state-of-the-art for comparable or better PSNR accuracies.

연구 동기 및 목표

• 제한된 계산 자원 조건에서 빠르고 효율적인 이미지 복원 네트워크를 설계하고 강력한 비선형 모델링 능력을 확보하는 데 도전한다.
• 모델의 깊이나 파라미터 수를 늘리지 않고 딥 러닝 기반 이미지 초해상도 복원 및 노이즈 제거에서의 속도-성능 트레이드오���을 향상시킨다.
• 표현 능력을 향상시키면서도 낮은 계산 오버헤드를 유지하는 새로운 활성화 함수를 개발한다.
• 기존의 빠른 방법보다 속도와 정확도에서 모두 뛰어난 표준 벤치마크에서 성능을 냅다 경쟁하는 경량 네트워크(FSRnet, FDnet)를 가능하게 한다.

제안 방법

• MTLU는 활성화 공간을 등간격의 버킷으로 나누고, 각 버킷에서 학습 가능한 선형 함수를 사용해 활성화 함수를 근사한다.
• 파arameter화는 근사 정확도와 독립적이므로, 버킷 해상도에 관계없이 낮은 계산 비용을 보장한다.
• 이 방법은 초해상도 및 노이즈 제거 작업을 위해 얕고 경량의 네트워크(FSRnet, FDnet)에 통합된다.
• 학습은 대규모 데이터셋(DIV2K, BSD68)에서 표준 최적화(Adam)를 사용하며, 학습률 감소와 배치 정규화를 적용한다.
• 저해상도 특징 맵을 활용해 FLOPs를 증가시키지 않으면서도 넓은 효과적 수신장(Receptive Field)을 유지한다.
• MTLU는 빠른 네트워크에서 ReLU 및 기타 활성화 함수를 대체하여 런타임에 부담 없이 더 높은 정확도를 달성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 새로운 활성화 함수가 계산 비용을 증가시키지 않고 딥 네트워크의 비선형 모델링 능력을 향상시킬 수 있는가?
• RQ2 MTLU는 기존의 빠른 방법보다 속도와 정확도에서 모두 뛰어난 더 빠른 이미지 복원 네트워크를 가능하게 할 수 있는가?
• RQ3 MTLU는 얕은 네트워크가 더 깊은 최신 기준 모델과 유사한 성능을 달성할 수 있도록 할 수 있는가?
• RQ4 MTLU 기반 네트워크 설계는 이미지 초해상도 복원 및 노이즈 제거에서 속도-정확도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• FSRnet 7은 Set14(×4)에서 PSNR 26.94 dB를 기록했고, 추론 시간은 단 3.4 ms로 VDSR 대비 10배 빠르며 PSNR는 동일하다.
• FSRnet 19는 SRResNet(27.26 dB 대비 27.01 dB)와 유사한 PSNR를 달성했지만, Titan X Pascal GPU에서 3배 더 빠른 속도로 실행된다.
• 10층의 FDnet은 BSD68에서 σ=50일 때 PSNR 26.24 dB를 기록했으며, DnCNN의 성능을 재현했지만 추론 속도는 15배 빠르다(5.0 ms 대비 74.8 ms).
• MTLU 기반 네트워크는 그림 1에서 보듯이 런타임을 늘리지 않고도 뛰어난 속도-정확도 트레이드오프를 달성한다.
• MTLU는 모델의 깊이나 파라미터 수를 늘리지 않으면서도 두 작업에서 뚜렷한 성능 향상을 이끌어내어 효율성과 확장성의 우수성을 입증한다.