[논문 리뷰] Deep Network Interpolation for Continuous Imagery Effect Transition

Xintao Wang, Ke Yu외 3명|arXiv (Cornell University)|2018. 11. 26.

Advanced Image Processing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 초점 해상도, 스타일 전이, 이미지 복원과 같은 다양한 이미지 효과 사이에서 부드럽고 연속적인 전환을 달성하기 위해 두 개 이상의 사전 훈련된 상관관계가 있는 딥 네트워크의 파라미터를 선형으로 보간하는 간단하면서도 일반적인 방법인 딥 네트워크 보간(DNI)을 제안한다. 이 방법은 재훈련이 필요 없이 출력 효과를 미세 조절하고 실시간 제어를 가능하게 하며, 픽셀 수준의 보간과 기존의 작업별 특화 설계에 비해 시각적 품질과 유연성에서 뛰어나다.

ABSTRACT

Deep convolutional neural network has demonstrated its capability of learning a deterministic mapping for the desired imagery effect. However, the large variety of user flavors motivates the possibility of continuous transition among different output effects. Unlike existing methods that require a specific design to achieve one particular transition (e.g., style transfer), we propose a simple yet universal approach to attain a smooth control of diverse imagery effects in many low-level vision tasks, including image restoration, image-to-image translation, and style transfer. Specifically, our method, namely Deep Network Interpolation (DNI), applies linear interpolation in the parameter space of two or more correlated networks. A smooth control of imagery effects can be achieved by tweaking the interpolation coefficients. In addition to DNI and its broad applications, we also investigate the mechanism of network interpolation from the perspective of learned filters.

연구 동기 및 목표

• 결정론적 딥 네트워크가 유일한 고정된 출력만 생성하기 때문에 다양한 사용자 선호도나 다양한 복원 강도를 수용하지 못하는 한계를 해결하기 위해.
• 특정 작업용 아키텍처 수정 없이도 초점 해상도에서 MSE 대 GAN, 낮 사진 대 밤 사진과 같은 다양한 이미지 효과 간 연속적이고 부드러운 전환을 가능하게 하기 위해.
• 낮은 수준의 시각 작업 전반에 적용 가능한 일반화 가능하고 경량의 솔루션을 제공하여 보간 계수를 통해 이미지 효과를 제어하기 위해.
• 픽셀 수준의 보간과 인스턴스 정규화 기반 방법에 비해 파라미터 공간 보간의 효과성과 잠재 메커니즘을 조사하기 위해.

제안 방법

• DNI는 두 개의 사전 훈련된 상관관계가 있는 딥 네트워크 사이의 파라미터 공간에서 선형 보간을 수행한다—하나는 효과 A를 위한 것이고, 다른 하나는 효과 B를 위해 미세 조정된 것이다.
• 보간 계수 α ∈ [0,1]가 혼합을 제어한다: θ_interpolated = α·θ_A + (1−α)·θ_B, 여기서 θ_A와 θ_B는 두 네트워크의 모델 파라미터이다.
• 보간된 모델은 동일한 입력에 대해 추론에 사용되며, 추가 훈련 없이도 효과 A와 B 사이의 연속적인 전환을 생성한다.
• 이 방법은 VGG, ResNet, DenseNet과 같은 표준 아키텍처와 호환되며, 각 보간에 대해 아키텍처 수정이나 재훈련이 필요하지 않다.
• 기본 모델을 새로운 효과에 맞게 적응시키기 위해 단 한 번의 미세 조정만 수행되며, 이로 인해 원본 모델과 미세 조정된 모델 사이의 보간이 가능해진다.
• 이 방법은 초점 해상도, 이미지 간 번역, 스타일 전이, 의미적 속성 전이 등 다양한 분야에서 평가되어 광범위한 적용 가능성을 입증했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크의 파라미터 공간에서 선형 보간이 다양한 이미지 효과 사이에서 부드럽고 시각적으로 타당한 전환을 달성할 수 있는가?
• RQ2 DNI는 픽셀 수준의 보간과 인스턴스 정규화 기반 보간에 비해 시각적 품질과 잡음 억제 측면에서 어떻게 비교되는가?
• RQ3 DNI는 초점 해상도, 스타일 전이, 의미적 속성 조작을 포함한 다양한 낮은 수준의 시각 작업에 얼마나 일반화될 수 있는가?
• RQ4 컨볼루션 레이어 파라미터가 스타일과 텍스처 전이에서 인스턴스 정규화 파라미터에 비해 어떤 역할을 하는가?

주요 결과

• DNI는 MSE 기반 초점 해상도와 GAN 기반 초점 해상도 사이와 같은 다양한 이미지 효과 간에 갑작스러운 변화나 시각적 잡음 없이 부드럽고 연속적인 전환을 달성한다.
• DNI는 픽셀 수준의 보간보다 뛰어나며, 특히 객체 경계에서 비자연스러운 겹침 잡음(ghosting artifacts)을 생성하지 않는다.
• 컨볼루션 레이어와 인스턴스 정규화 레이어를 모두 미세 조정하면 인스턴스 정규화 레이어만 미세 조정하는 것보다 더 나은 텍스처 전이 성능을 보이며, 이는 컨볼루션 특징가 스타일 모델링에서 중요한 역할을 함을 시사한다.
• DNI는 중간 훈련 데이터가 존재하지 않더라도 얼굴 속성(예: 젊은 사람에서 노인으로, 남성에서 여성으로) 간 부드러운 의미 전환을 가능하게 하며 자연스러운 중간 얼굴 이미지를 생성한다.
• 이 방법은 계산적으로 효율적이며, 각 보간에 대해 재훈련이 필요 없고, 단일 보간 계수를 통해 실시간 제어를 지원한다.
• DNI는 작업 간 일반화가 가능하다: 심도 조절, 낮에서 밤 사진으로의 변환, 이미지 스타일화에서 다중 스타일 블렌딩 등에서 연속적인 전환을 성공적으로 구현한다.