[논문 리뷰] Neural Architecture Search for Deep Image Prior

Kary Ho, Andrew Gilbert외 2명|arXiv (Cornell University)|2020. 01. 14.

Advanced Image Processing Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 깊은 이미지 프라이어르(Deep Image Prior, DIP)의 성능을 향상시키기 위해 콘텐츠 기반의 인코더-디코더 네트워크를 자동으로 발견하는 진화적 신경망 아키텍처 탐색(NAS) 방법인 NAS-DIP를 제안한다. 이중 이진 유전체를 기반으로 한 유전 알고리즘을 통해 아키텍처와 메타-파라미터를 최적화함으로써, 전통적인 DIP에 비해 노이즈 제거, 인painting, 초해상도 분석에서 뛰어난 시각적 품질을 달성하며, 500명의 개체로 구성된 집단을 사용해 10~20세대 내에 수렴한다.

ABSTRACT

We present a neural architecture search (NAS) technique to enhance the performance of unsupervised image de-noising, in-painting and super-resolution under the recently proposed Deep Image Prior (DIP). We show that evolutionary search can automatically optimize the encoder-decoder (E-D) structure and meta-parameters of the DIP network, which serves as a content-specific prior to regularize these single image restoration tasks. Our binary representation encodes the design space for an asymmetric E-D network that typically converges to yield a content-specific DIP within 10-20 generations using a population size of 500. The optimized architectures consistently improve upon the visual quality of classical DIP for a diverse range of photographic and artistic content.

연구 동기 및 목표

• 고전적인 딥 이미지 프라이어르(DIP)의 한계를 해결하기 위해, 고정된 최적화되지 않은 네트워크 아키텍처에 의존하고 다양한 이미지 콘텐츠에서 최적의 성능을 내지 못하는 문제를 해결한다.
• 지도 학습 없이 콘텐츠에 맞는 신경망 아키텍처 탐색(NAS) 프레임워크를 개발하여 개별 이미지에 맞게 인코더-디코더 아키텍처와 메타-파라미터를 최적화한다.
• 유전 알고리즘을 통한 아키텍처 탐색이 지도 없는 조건에서 단일 이미지 복원 작업에서의 인지적 품질을 크게 향상시킬 수 있음을 입증한다.
• 발견된 아키텍처가 잠재적인 시각적 스타일을 반영하는지 탐색하여, 스타일에 따라 이미지 콘텐츠를 비지도로 군집화할 수 있는지 확인한다.

제안 방법

• 비대칭 인코더-디코더 네트워크의 아키텍처 공간을 이진 문자열 표현으로 표현하여, 필터 크기, 채널 깊이, 스킵 커넥션 등을 포함한 이산적이고 압축된 유전체를 통해 진화적 탐색을 가능하게 한다.
• 토너먼트 선택, 균일한 교차, 비트 반전 돌연변이를 사용한 유전 알고리즘이 10~20세대 동안 500개의 아키텍처로 구성된 집단을 진화시켜 인지적 품질을 최적화한다.
• 지식 기반 이미지가 필요 없이 인지적 메트릭(LPIPS)을 시각적 품질의 대체 지표로 사용하여 빌드-인 최적화를 가능하게 한다.
• 탐색 공간은 10개의 합성곱 스테이지로 구성되며, 가변적인 필터 크기와 채널 너비를 지원하며, 대칭 및 비대칭 E-D 아키텍처 모두를 수용한다.
• 아키텍처 공간의 t-SNE 시각화 결과, 펜 앤 잉크, 아크릴화 등 유사한 시각적 스타일을 가진 네트워크가 뭉쳐져 있어 스타일 기반 아키텍처 선호도가 있음을 시사한다.
• 이 방법은 노이즈 제거, 인painting, 초해상도 분석에 적용되며, 이미지 복원을 위한 LPIPS 기반 복원 손실 함수로 정의된다.

실험 결과

연구 질문

• RQ1 지도 없는 조건에서 진화적 신경망 아키텍처 탐색이 고전적인 DIP보다 뛰어난 성능을 보이는 인코더-디코더 아키텍처를 발견할 수 있는가?
• RQ2 이미지 복원의 최적 아키텍처가 콘텐츠 기반으로 특정화되어 있는가? 즉, 다양한 이미지 스타일에 따라 다른 아키텍처 구성이 필요한가?
• RQ3 발견된 아키텍처를 사용해 시각적 스타일에 따라 비지도로 이미지를 군집화할 수 있는가?
• RQ4 지도 없는 조건에서 수렴성과 시각적 품질을 고려할 때, 최적의 돌연변이 비율과 집단 크기는 무엇인가?

주요 결과

• NAS-DIP는 인지 메트릭과 정성적 비교를 통해 노이즈 제거, 인painting, 초해상도 분석 작업에서 고전적인 DIP에 비해 일관되게 뛰어난 시각적 품질을 향상시킨다.
• 수렴성과 높은 적합도를 확보하기 위한 최적의 돌연변이 비율은 5%(0.05)였으며, 이는 N=5일 때 평균적으로 각 후손당 약 4개의 비트가 반전되는 것으로, 낮거나 높은 비율보다 뛰어난 성능을 보였다.
• 500명의 집단 크기를 사용해 10~20세대 내에 수렴이 이루어지며, 단일 GPU에서 각 이미지에 대해 몇 시간 내에 학습이 완료된다.
• 아키텍처 공간의 t-SNE 시각화 결과, 만화, 3D 렌더링, 아크릴화 등 다양한 시각적 스타일에 해당하는 명확한 군집이 나타나, 스타일 기반 아키텍처가 발견되었음을 시사한다.
• 초해상도 작업에서는 대칭 E-D 아키텍처가 비대칭 아키텍처보다 뛰어난 성능을 보였지만, 노이즈 제거 및 인painting 작업에서는 비대칭 설계가 최적의 성능을 보였다.
• 동일한 콘텐츠이지만 다른 예술 스타일(예: 8 BAM! 스타일의 꽃)을 가진 이미지의 최고 성능 아키텍처는 아키텍처 공간에서 별도의 군집을 형성하여, 콘텐츠 기반의 아키텍처 설계 발견이 확인되었다.