[논문 리뷰] Densely Connected High Order Residual Network for Single Frame Image Super Resolution

Yi‐Wen Huang, Ming Qin|arXiv (Cornell University)|2018. 04. 16.

Advanced Image Processing Techniques참고 문헌 15인용 수 14

한 줄 요약

이 논문은 단일 프레임 이미지 초해상도 분석을 위한 고밀도 연결 고차수 잔차 신경망을 제안하며, 대칭적 시그모이드 색공간과 '재사용 + 패치' 전략을 통해 영상 복원의 물리적 사전 지식을 통합한다. 모델이 과소적합 상태임에도 불구하고 최신 성능을 달성함으로써, 도메인 지식을 직접 네트워크 아키텍처에 통합하는 것이 효과적임을 입증한다.

ABSTRACT

Deep convolutional neural networks (DCNN) have been widely adopted for research on super resolution recently, however previous work focused mainly on stacking as many layers as possible in their model, in this paper, we present a new perspective regarding to image restoration problems that we can construct the neural network model reflecting the physical significance of the image restoration process, that is, embedding the a priori knowledge of image restoration directly into the structure of our neural network model, we employed a symmetric non-linear colorspace, the sigmoidal transfer, to replace traditional transfers such as, sRGB, Rec.709, which are asymmetric non-linear colorspaces, we also propose a "reuse plus patch" method to deal with super resolution of different scaling factors, our proposed methods and model show generally superior performance over previous work even though our model was only roughly trained and could still be underfitting the training set.

연구 동기 및 목표

• 기존의 깊은 합성곱 신경망이 초해상도 분석에서 가지는 한계를 보완하기 위해 영상 복원의 물리적 사전 지식을 네트워크 아키텍처에 통합한다.
• 통합된, 재사용 가능한 특징 학습 메커니즘을 통해 다양한 스케일링 요소에서 성능을 향상시킨다.
• 대칭적인 비선형 색공간이 영상 복원 품질에 미치는 영향을 탐구한다.
• 과소적합 조건에서도 높은 성능을 유지할 수 있는 경량이지만 효과적인 아키텍처를 개발한다.

제안 방법

• 특징 전파와 기울기 흐름을 향상시키기 위해 고밀도 연결 고차수 잔차 블록을 사용한다.
• 비대칭 색공간인 sRGB 및 Rec.709와는 달리, 영상 열화 및 복원의 물리적 특성을 더 잘 반영하기 위해 대칭적 시그모이드 전이 함수를 도입한다.
• '재사용 + 패치' 전략을 통해 특징을 재사용하고 패치 단위의 정밀 조정을 적용함으로써 단일 모델이 다양한 스케일링 요소를 처리할 수 있도록 한다.
• 구조적이고 질감적인 세부 정보를 유지하기 위해 인지적 손실과 콘텐츠 손실을 함께 사용해 네트워크를 훈련시킨다.
• 특징 재사용과 고차수 잔차 학습에 초점을 맞춰 표현 학습의 효율성을 향상시킨다.
• 최소한의 하이퍼파rameter 튜닝을 통해 강력한 성능을 달성하기 위해 아키텍처 기반의 유도적 편향에 의존한다.

실험 결과

연구 질문

• RQ1 영상 복원의 물리적 사전 지식을 신경망 아키텍처에 직접 통합함으로써 초해상도 성능 향상이 가능할까?
• RQ2 sRGB와 같은 비대칭 색공간과 비교해 대칭적 시그모이드 색공간을 사용할 경우 초해상도 작업에서 어떤 차이가 있는가?
• RQ3 통합된 특징 학습 전략을 통해 단일 모델이 다양한 스케일링 요소를 효과적으로 처리할 수 있을까?
• RQ4 제한된 훈련 조건에서 아키텍처 설계가 모델 깊이보다 얼마나 더 중요한가?

주요 결과

• 과소적합 상태임에도 불구하고 벤치마크 데이터셋에서 최신 성능을 달성함으로써 아키텍처 설계에서 유도적 편향이 매우 강력함을 입증한다.
• 대칭적 시그모이드 색공간을 사용함으로써 물리적 열화 과정을 더 잘 모델링함으로써 복원 품질이 향상된다.
• '재사용 + 패치' 전략은 단일 모델을 통해 효과적인 다중 스케일 초해상도를 가능하게 하며, 파라미터 중복을 줄인다.
• 고차수 잔차 블록 내의 고밀도 연결이 특징 학습과 기울기 흐름을 크게 향상시켜 수렴성과 성능을 개선한다.
• 粗糙한 훈련 조건에서도 더 깊고 복잡한 네트워크보다 성능이 뛰어나, 아키텍처 기반의 유도적 편향의 가치를 입증한다.