[논문 리뷰] Exploiting the Potential of Standard Convolutional Autoencoders for Image Restoration by Evolutionary Search

Masanori Suganuma, Mete Özay외 1명|arXiv (Cornell University)|2018. 03. 01.

Advanced Image Processing Techniques참고 문헌 44인용 수 33

한 줄 요약

이 논문은 단순한 구성 요소—합성곱층과 스킵 연결만을 사용하는 표준 컨volution 오토에인코더(CAEs)가 진화 알고리즘을 통해 최적화될 경우 최신 이미지 복원 모델을 능가할 수 있음을 보여준다. 진화적 탐색을 통해 최적의 아키텍처를 탐색하고, 표준 ℓ₂ 손실 및 ADAM을 사용해 훈련함으로써, 이 방법은 CelebA에서 27.8 dB의 PSNR와 SVHN에서 40.4 dB의 PSNR를 달성하여, 적대적 훈련이나 복잡한 손실 함수에 의존하는 모델들을 능가한다.

ABSTRACT

Researchers have applied deep neural networks to image restoration tasks, in which they proposed various network architectures, loss functions, and training methods. In particular, adversarial training, which is employed in recent studies, seems to be a key ingredient to success. In this paper, we show that simple convolutional autoencoders (CAEs) built upon only standard network components, i.e., convolutional layers and skip connections, can outperform the state-of-the-art methods which employ adversarial training and sophisticated loss functions. The secret is to employ an evolutionary algorithm to automatically search for good architectures. Training optimized CAEs by minimizing the $\ell_2$ loss between reconstructed images and their ground truths using the ADAM optimizer is all we need. Our experimental results show that this approach achieves 27.8 dB peak signal to noise ratio (PSNR) on the CelebA dataset and 40.4 dB on the SVHN dataset, compared to 22.8 dB and 33.0 dB provided by the former state-of-the-art methods, respectively.

연구 동기 및 목표

• 기본 구성 요소(합성곱층과 스킵 연결)만을 사용하는 단순한 컨volution 오토에인코더(CAEs)가 최신 이미지 복원 모델을 능가할 수 있는지 조사하기 위해.
• 진화적 아키텍처 탐색이 이미지 복원을 위한 고성능 CAE 아키텍처를 발견하는 데 얼마나 효과적인지 평가하기 위해.
• 이미지 복원 작업에서 최신 성능을 달성하기 위해 적대적 훈련이나 복잡한 손실 함수 설계가 필수적인지 판단하기 위해.
• 지능적인 아키텍처 탐색과 결합했을 때, 표준 ℓ₂ 손실과 ADAM 최적화만으로도 충분한지 탐구하기 위해.

제안 방법

• 필터 수, 필터 크기, 층 수, 스킵 연결 사용 여부 등의 하이퍼파라미터를 조정하여 최적의 CAE 아키텍처를 탐색하기 위해 진화 알고리즘을 사용한다.
• 검색 공간에는 합성곱층과 스킵 연결의 모든 조합이 포함되며, 깊이, 필터 수, 커널 크기가 가변적이다.
• 각 후보 아키텍처는 재구성된 이미지와 진짜 이미지 간의 ℓ₂ 손실을 최소화하기 위해 ADAM 옵timizer를 사용해 훈련된다.
• 진화 과정은 검증 세트의 PSNR를 기반으로 상위 성능을 보인 아키텍처를 선택하여 세대 간에 인구 집단을 점진적으로 향상시킨다.
• 이 방법은 적대적 훈련, 인지적 손실, 또는 수작업으로 설계된 손실 함수를 사용하지 않는다.
• 최종 모델은 최종 성능 지표를 보고하기 위해 테스트 세트에서 미세 조정된다.

실험 결과

연구 질문

• RQ1 단순한 구성 요소(합성곱층과 스킵 연결)만을 사용하는 표준 컨볼루션 오토에인코더가 이미지 복원에서 최신 성능을 달성할 수 있는가?
• RQ2 고성능 이미지 복원을 위해 적대적 훈련이나 복잡한 손실 설계가 필수적인가?
• RQ3 진화 알고리즘이 CAE의 고차원 아키텍처 공간을 효과적으로 탐색하여 우수한 구성 요소를 발견할 수 있는가?
• RQ4 지능적인 아키텍처 탐색과 결합했을 때, 단지 ℓ₂ 재구성 손실을 최소화하고 ADAM 최적화를 사용하는 것으로도 충분한가?

주요 결과

• 제안된 진화적 탐색 방법은 CelebA 데이터셋에서 27.8 dB의 PSNR를 달성한 CAE 아키텍처를 발견했으며, 이는 이전 최신 기준인 22.8 dB를 크게 뛰어넘는 성능이다.
• SVHN 데이터셋에서는 40.4 dB의 PSNR를 기록했으며, 이는 이전 SOTA인 33.0 dB를 초월한다.
• 최고 성능을 보인 아키텍처는 변이 확률 r=0.1과 인구 크기 λ=4를 사용했지만, λ=1일 경우에도 경쟁력 있는 결과를 얻었다.
• 진화 알고리즘은 고차원 아키텍처 공간을 효과적으로 탐색하여, 적대적 훈련이나 복잡한 손실 함수에 의존하지 않고도 효과적인 구성 요소를 발견했다.
• 단지 표준 ℓ₂ 손실과 ADAM 최적화만을 사용했음에도 불구하고 뛰어난 성능을 달성했으며, 이는 일부 경우에서 아키텍처 탐색이 손실 설계보다 더 중요할 수 있음을 시사한다.
• 결과적으로, 적절히 탐색된 고전적 CNN 구성 요소는 복잡한 아키텍처와 훈련 기법을 가진 모델들과 견줄 수 있거나 이를 능가할 수 있음을 시사한다.