[논문 리뷰] Generalized Deep Image to Image Regression

Venkataraman Santhanam, Vlad I. Morariu외 1명|arXiv (Cornell University)|2016. 12. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 4

한 줄 요약

이 논문은 일반적인 이미지-이미지 회귀를 위한 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 딥 네트워크인 재귀 분기 컨볼루션 네트워크(RBDN)를 제안한다. 학습 가능한 업샘플링과 파rameter 공유를 활용한 재귀적 분기 구조를 통해 네트워크의 초기 단계에서 저비용이면서 풍부한 다중 컨텍스트 표현을 생성함으로써, 작업별로 수정이 필요하거나 후처리가 없는 상태에서도 리라이팅, 노이즈 제거, 색상화 등 다양한 작업에서 뛰어난 성능을 달성할 수 있다.

ABSTRACT

We present a Deep Convolutional Neural Network architecture which serves as a generic image-to-image regressor that can be trained end-to-end without any further machinery. Our proposed architecture: the Recursively Branched Deconvolutional Network (RBDN) develops a cheap multi-context image representation very early on using an efficient recursive branching scheme with extensive parameter sharing and learnable upsampling. This multi-context representation is subjected to a highly non-linear locality preserving transformation by the remainder of our network comprising of a series of convolutions/deconvolutions without any spatial downsampling. The RBDN architecture is fully convolutional and can handle variable sized images during inference. We provide qualitative/quantitative results on $3$ diverse tasks: relighting, denoising and colorization and show that our proposed RBDN architecture obtains comparable results to the state-of-the-art on each of these tasks when used off-the-shelf without any post processing or task-specific architectural modifications.

연구 동기 및 목표

• 다양한 작업에서 뛰어난 성능을 내는 일반적이고 작업에 관계없는 딥 러닝 아키텍처가 부족한 문제를 해결한다.
• 기존 이미지-이미지 네트워크의 내재된 국소성-컨텍스트 간 상충 관계를 극복하기 위해 다중 스케일, 초기 컨텍스트 표현을 개발한다.
• 변동 크기의 입력을 처리할 수 있고, 다양한 작업에 대해 아키텍처 수정이 필요 없는 완전 컨볼루션형 네트워크를 설계한다.
• 단일의 오프더쇼프 아키텍처가 다양한 독립적인 이미지-이미지 회귀 작업에서 경쟁 가능한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 학습 가능한 업샘플링과 함께 재귀적 분기 기법을 사용해 네트워크의 초기 단계에서 다중 스케일 특징을 생성함으로써 효율적인 다중 컨텍스트 표현을 가능하게 한다.
• 브랜치 간 광범위한 파라미터 공유를 통해 모델 복잡도를 감소시키면서도 풍부한 특징 표현을 유지한다.
• 공유된 풀링 레이어에서 모든 재귀적 브랜치의 출력을 융합하여 복합적인 다중 컨텍스트 특징 맵을 구성한다.
• 공간적 다운샘플링 없이 9개의 완전 컨볼루션 레이어 스택을 통과시켜 국소성과 강력한 비선형 변환을 유지한다.
• 각 작업에 적합한 손실 함수(예: 노이즈 제거에는 MSE, 색상화에는 교차 엔트로피)를 사용하여 표준 backpropagation을 통해 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 모든 작업에 동일한 깊이의 아키텍처를 사용하고 잔차 연결을 사용하지 않아 재귀적 분기의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 작업별 아키텍처 수정 없이도 다양한 이미지-이미지 회귀 작업에서 최신 기술(SOTA) 성능을 달성할 수 있는 단일의 일반적 딥 네트워크 아키텍처가 가능한가?
• RQ2 분기와 학습 가능한 업샘플링을 통한 초기 단계의 재귀적 다중 컨텍스트 특징 학습이 이미지-이미지 네트워크의 국소성-컨텍스트 상충 관계를 효과적으로 완화하는가?
• RQ3 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 네트워크가 변동 크기의 입력을 처리하고 다양한 이미지-이미지 작업으로 일반화할 수 있는가?
• RQ4 얕고 재귀적으로 분기된 네트워크의 성능이 DnCNN과 같은 깊고 잔차 기반 네트워크와 노이즈 제거 및 리라이팅 작업에서 어떻게 비교되는가?
• RQ5 색상화와 같이 모호한 작업에서 손실 함수의 선택(MSE 대비 교차 엔트로피)이 출력의 시각적 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• 3브랜치 RBDN은 검증 세트에서 거의 완벽한 리라이팅 결과를 달성하여 강력한 일반화 능력과 조명 변화에 대한 강건성을 입증했다.
• 3브랜치 RBDN은 DnCNN보다 얕은(9층 대비 18층) 구조이지만 잔차 연결이 없음에도 불구하고 노이즈 수준 σ=25에서 σ=55 사이에서 노이즈 제거 성능에서 승리했다.
• RBDN은 훈련 분포 외부의 높은 노이즈 수준(σ=55)에도 효과적으로 일반화되어 강력한 일반화 능력을 보였다.
• 색상화 작업에서는 소프트맥스 교차 엔트로피 손실을 사용한 RBDN-Lab가 MSE 기반 모델보다 더 채도가 높고 시각적으로 더 매력적인 결과를 생성하여 과도한 채도 감소 문제를 해결했다.
• 더 단순한 아키텍처를 가졌음에도 불구하고 RBDN-Lab 모델은 이전 연구에서 제안한 더 복잡한 선형 확장 컨볼루션 네트워크와 비교해 유사한 색상화 성능을 달성했다.
• 후처리나 아키텍처 튜닝 없이도 RBDN은 리라이팅, 노이즈 제거, 색상화 세 가지 작업에서 최신 기술 모델들과 경쟁 가능한 성능을 보였다.