[논문 리뷰] Fast Image Processing with Fully-Convolutional Networks

Qifeng Chen, Jia Xu외 1명|arXiv (Cornell University)|2017. 09. 02.

Image Enhancement Techniques참고 문헌 13인용 수 39

한 줄 요약

이 논문은 입력-출력 쌍에 대한 훈련을 통해 다양한 이미지 처리 연산자—L0 스무딩, 스타일 전이, 화이트닝 등—을 근사하는 완전 컨볼루션 신경망(FCN)을 제안한다. 훈련된 모델은 일정 시간 내에 전체 해상도에서 실행되며, MIT-Adobe 데이터셋에서 36 dB PSNR를 달성하여 이전 방법보다 8.5 dB 향상되었고, 다양한 데이터셋과 해상도에서 뛰어난 속도와 일반화 성능을 보였다.

ABSTRACT

We present an approach to accelerating a wide variety of image processing operators. Our approach uses a fully-convolutional network that is trained on input-output pairs that demonstrate the operator's action. After training, the original operator need not be run at all. The trained network operates at full resolution and runs in constant time. We investigate the effect of network architecture on approximation accuracy, runtime, and memory footprint, and identify a specific architecture that balances these considerations. We evaluate the presented approach on ten advanced image processing operators, including multiple variational models, multiscale tone and detail manipulation, photographic style transfer, nonlocal dehazing, and nonphotorealistic stylization. All operators are approximated by the same model. Experiments demonstrate that the presented approach is significantly more accurate than prior approximation schemes. It increases approximation accuracy as measured by PSNR across the evaluated operators by 8.5 dB on the MIT-Adobe dataset (from 27.5 to 36 dB) and reduces DSSIM by a multiplicative factor of 3 compared to the most accurate prior approximation scheme, while being the fastest. We show that our models generalize across datasets and across resolutions, and investigate a number of extensions of the presented approach. The results are shown in the supplementary video at https://youtu.be/eQyfHgLx8Dc

연구 동기 및 목표

• 고해상도에서 계산 비용이 많이 들거나 느린 다양한 복잡한 이미지 처리 연산자를 가속화하기 위해.
• 하향 샘플링 기반 근사 방법의 한계를 극복하기 위해, 고주파 성분을 손실하고 기존 연산자 재실행이 필요로 하는 문제를 해결하기 위해.
• 초기 설정 조정 없이도 여러 연산자에 일반화 가능한 단일 통합 FCN 아키텍처를 개발하기 위해.
• 이미지 처리 근사에서 높은 정확도, 낮은 지연, 그리고 낮은 메모리 사용량을 동시에 달성하기 위해.

제안 방법

• 목표 이미지 처리 연산자의 행동을 보여주는 입력-출력 이미지 쌍에 기반해 완전 컨볼루션 네트워크를 훈련한다.
• 엔드 투 엔드 훈련을 통해 원래 연산자를 추론 시에 실행할 필요 없이 입력에서 출력 이미지로의 매핑을 학습한다.
• 정확도, 속도, 메모리 사용량을 균형 있게 유지하기 위해 깊이와 너비를 제어한 특정 FCN 아키텍처를 사용한다.
• 재훈련이나 초모수 조정 없이도 동일한 훈련된 모델을 여러 연산자에 적용한다.
• 데이터셋(MIT-Adobe, RAISE)과 해상도(최대 2160p) 간의 일반화를 검증하며, 훈련 중에 볼 수 없었던 해상제도 포함된다.
• 프레임워크를 확장하여 파arameterized 연산자, 영상 처리, 다중 연산자 융합을 지원한다.

실험 결과

연구 질문

• RQ1 특정 연산자에 맞게 조정하지 않고도, 하나의 공통 FCN 아키텍처가 다양한 고급 이미지 처리 연산자를 정확하게 근사할 수 있는가?
• RQ2 신경망의 깊이와 너비가 근사 정확도, 런타임, 메모리 사용량에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 훈련 중에 볼 수 없었던 다양한 데이터셋과 해상도에서도 일반화되는가?
• RQ4 훈련된 모델을 사용해 테스트 시점에 상호작용적이고 파arameterized된 이미지 처리 효과를 생성할 수 있는가?
• RQ5 프레임워크를 확장하여 영상 처리와 단일 네트워크 내에서 다중 이미지 처리 효과 융합을 지원할 수 있는가?

주요 결과

• 제안된 방법은 10개의 연산자에 대해 MIT-Adobe 5K 테스트 세트에서 36 dB PSNR를 달성하여 이전 근사 기법보다 8.5 dB 향상되었다.
• 가장 정확한 이전 기준 대비 DSSIM을 3배 감소시켰으며, 동시에 훨씬 더 빠른 속도를 보였다.
• 모델은 데이터셋 간 일반화가 우수하다: 교차 데이터셋 SSIM 차이는 1% 미만이었으며, 강력한 도메인 일반화 성능을 보였다.
• 2160p 및 훈련 중에 볼 수 없었던 해상도를 포함한 다양한 해상도에서 높은 정확도를 유지했으며, PSNR가 항상 기준보다 뛰어났다.
• 재훈련 없이도 동일한 모델 아키텍처와 고정된 초모수로 10개의 모든 연산자를 근사했으며, 강력한 일반화 성능을 입증했다.
• 모델은 일정 시간 내에 실행되며(1080p에서 190 ms), 원래 연산자의 런타임과 무관하게 동일한 속도로 작동하며, 이는 이전 방법 중 가장 빠른 변종보다도 더 빠르다.