[논문 리뷰] NAS-DIP: Learning Deep Image Prior with Neural Architecture Search

Yunchun Chen, Chen Gao외 2명|arXiv (Cornell University)|2020. 08. 26.

Advanced Image Processing Techniques참고 문헌 85인용 수 4

한 줄 요약

이 논문은 딥 이미지 프리오르(Deep Image Prior)를 학습하지 않는 U-Net 기반 아키텍처에서 최적의 업샘플링 셀과 크로스스케일 잔차 연결 패턴을 자동으로 탐색하기 위해 신경망 아키텍처 탐색(NAS)을 사용하는 NAS-DIP를 제안한다. 업샘플링 연산과 스킵 커넥션에 대한 탐색 공간을 활용한 강화 학습을 통해 NAS-DIP는 학습이 없는 방법 중 최고 성능을 기록하며, 이미지 복원 및 합성 작업 전반에서 학습 기반 모델과 경쟁 가능한 결과를 내놓는다.

ABSTRACT

Recent work has shown that the structure of deep convolutional neural networks can be used as a structured image prior for solving various inverse image restoration tasks. Instead of using hand-designed architectures, we propose to search for neural architectures that capture stronger image priors. Building upon a generic U-Net architecture, our core contribution lies in designing new search spaces for (1) an upsampling cell and (2) a pattern of cross-scale residual connections. We search for an improved network by leveraging an existing neural architecture search algorithm (using reinforcement learning with a recurrent neural network controller). We validate the effectiveness of our method via a wide variety of applications, including image restoration, dehazing, image-to-image translation, and matrix factorization. Extensive experimental results show that our algorithm performs favorably against state-of-the-art learning-free approaches and reaches competitive performance with existing learning-based methods in some cases.

연구 동기 및 목표

• 구조적 이미지 프리오르를 위한 더 나은 신경망 아키텍처를 탐색함으로써 학습이 없는 이미지 복원 성능을 향상시키기.
• 기존 딥 이미지 프리오르 방법에서 미처 다루지 않은 디코더 업샘플링 셀과 고정된 스킵 커넥션의 설계 문제를 해결하기.
• 에코더-디코더 네트워크에서 업샘플링 연산과 크로스레벨 잔차 연결을 모두 위한 탐색 공간을 개발하기.
• 대규모 레이블이 없는 데이터셋이 필요 없이 다양한 이미지 복원 및 합성 작업에서 NAS-DIP의 효과성을 검증하기.
• NAS가 수작업 설계된 모델인 U-Net과 DIP보다 학습이 없는 환경에서 더 나은 성능을 내는 아키텍처를 탐색할 수 있음을 입증하기.

제안 방법

• 공간 해상도 변화(예: 양선형, 최근접 이웃)와 특징 변환(예: 2D 역전치 컨벌루션)으로 분해된 연산을 통해 업샘플링 셀에 대한 탐색 공간을 설계하기.
• 에코더와 디코더 레이어 간의 특징 융합 패턴을 유연하고 학습 가능한 방식으로 允허하는 크로스스케일 잔차 연결에 대한 탐색 공간을 개발하기.
• 반복 신경망 컨트롤러를 사용한 강화 학습 기반 NAS 프레임워크를 적용하여 아키텍처 공간을 탐색하고, PSNR를 보상 신호로 사용하기.
• 초기화된 레이블이 없는 특정 작업(예: 초해상도, 노이즈 제거, 인painting, 화창함 제거)을 위한 최적 아키텍처를 탐색하도록 컨트롤러를 훈련하기.
• 한 작업(예: 노이즈 제거)에서 탐색한 아키텍처를 다른 작업(예: 이방향 이미지 간 전환)으로 이식하여 일반화 능력 평가하기.
• 표준 평가 지표인 PSNR 및 FID를 사용해 성능을 평가하고, 인지적 품질을 평가하기 위해 사용자 연구를 실시하기.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색은 수작업 설계된 것보다 더 나은 업샘플링 셀을 딥 이미지 프리오르에 대해 탐색할 수 있는가?
• RQ2 학습된 크로스스케일 잔차 연결 패턴은 고정된 U-Net 스킵 커넥션보다 이미지 복원 성능을 향상시킬 수 있는가?
• RQ3 업샘플링 셀과 연결 패턴을 동시에 탐색함으로써 다양한 이미지 복원 작업 전반에서 일관된 성능 향상이 이루어지는가?
• RQ4 NAS로 탐색된 아키텍처는 학습 기반 작업인 이방향 이미지 간 전환에 일반화될 수 있는가?
• RQ5 PSNR 및 인지적 품질 측면에서 NAS-DIP는 최신의 학습이 없는 방법과 학습 기반 방법보다 어떻게 비교되는가?

주요 결과

• 4× 초해상도 복원에서 Set14 데이터셋에서 NAS-DIP는 PSNR 27.84를 기록하여 DIP 대비 0.84 포인트 향상시켰으며, 이미지 복원 성능 향상이 뚜렷하게 입증되었다.
• 8× 초해상도 복원에서는 NAS-DIP가 PSNR 24.59를 기록하여 DIP 대비 0.44 포인트 향상되었으며, 학습된 업샘플링 셀의 효과를 입증했다.
• 이미지 인페인팅 작업에서는 NAS-DIP가 PSNR 34.72를 기록하여 DIP 대비 1.24 포인트 향상되었으며, 이 작업에서 가장 큰 성능 향상이 관찰되었다.
• 이미지 노이즈 제거 작업에서는 NAS-DIP가 PSNR 31.42를 기록하여 DIP 대비 0.99 포인트 향상되었으며, 다양한 작업 전반에서 일관된 성능 향상을 보였다.
• 이방향 이미지 간 전환 작업으로 이식한 결과, Summer→Winter 작업에서 FID가 78.62에서 76.22로 감소하여 더 나은 생성 품질을 보였다.
• 사용자 연구 결과, 79.3%의 참가자가 NAS-DIP의 번역 결과를 표준 CycleGAN 모델보다 선호했으며, 인지적 품질의 우수성을 확인했다.