[논문 리뷰] Decouple Learning for Parameterized Image Operators

Qingnan Fan, Dongdong Chen외 4명|arXiv (Cornell University)|2018. 07. 21.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 이미지 연산자인 노이즈 제거, 초해상도 복원, 스무딩 등 다양한 파라미터 설정에서 딥 네ural 네트워크의 가중치를 동적으로 조정할 수 있도록 하는 분리 학습 프레임워크를 제안한다. 입력 파라미터에 기반해 기본 네트워크의 가중치를 예측하는 별도의 가중치 학습 네트워크를 훈련시킴으로써, 개별적으로 훈련된 모델과 유사한 성능을 달성하면서도 연속적이고 상호작용 가능한 파라미터 제어를 가능하게 한다.

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators, such as image smoothing, super-resolution and denoising. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as "parameterized image operators". However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decouple learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. We provide more analysis to better understand the proposed framework, which may inspire more promising research in this direction. Our codes and models have been released in https://github.com/fqnchina/DecoupleLearning

연구 동기 및 목표

• 기존의 딥 러닝 모델이 이미지 연산자에서 오직 하나의 고정된 파라미터 설정에 대해서만 훈련된다는 한계를 해결하기 위해.
• 재훈련이나 여러 모델을 저장하지 않고도 하나의 모델이 여러 파라미터 구성 설정을 처리할 수 있도록 하기 위해.
• 다양한 파라미터 값에서 학습된 가중치들이 고차원 공간에서 공유 가능한 학습 가능한 변환을 통해 관련이 있을 수 있는지 탐색하기 위해.
• 한 개의 네트워크 안에서 여러 이미지 연산자와 여러 파라미터를 지원하는 통합 프레임워크를 제공하기 위해.
• 학습된 네트워크의 내부 작동 원리를 학습된 가중치 공간의 시각화와 분석을 통해 이해하기 위해.

제안 방법

• 작업 중심의 기본 네트워크의 가중치를 아키텍처에서 분리하기 위해 별도의 가중치 학습 네트워크를 도입한다.
• 공유 손실 함수를 사용하여 기본 네트워크와 가중치 학습 네트워크를 종합적으로 훈련시킨다.
• 가중치 학습 네트워크의 완전 연결 층을 사용해 기본 네트워크의 각 레이어에 대한 컨볼루션 커널 가중치를 예측한다.
• 가중치 예측을 선형 조합으로 모델링한다: $ W_i = \gamma_1 A_{i1} + \gamma_2 A_{i2} + B_i $, 여기서 $ \gamma_1 $ 및 $ \gamma_2 $는 입력 파라미터이다.
• t-SNE 시각화를 사용해 고차원 공간에서 학습된 가중치의 변환을 확인하여 서로 다른 파라미터 설정 간의 선형 관계를 확인한다.
• 단일 프레임워크 내에서 여러 이미지 연산자와 여러 파라미터에 대한 공동 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 하나의 딥 네트워크를 여러 파라미터 설정의 파라미터화된 이미지 연산자에 대해 일반화할 수 있는가?
• RQ2 입력 파라미터의 학습 가능한 함수를 통해 기본 네트워크의 가중치를 동적으로 예측할 수 있으며, 각 설정에 대해 재훈련이 필요 없이 가능한가?
• RQ3 다양한 파라미터 값과 연산자 간의 가중치 공간에 저차원적이고 구조화된 표현이 존재하는가?
• RQ4 제안된 프레임워크는 고정된 하나의 파라미터 설정에 대해 훈련된 모델과 비교해 성능가능한가?
• RQ5 학습된 가중치 공간이 기본 네트워크의 동작 방식에 대해 해석 가능한 패턴이나 구조적 통찰을 드러낼 수 있는가?

주요 결과

• 제안된 프레임워크는 노이즈 제거, 초해상도 복원, 스무딩을 포함한 여러 이미지 연산자에서 단일 파라미터 설정에 특화해 훈련된 모델과 유사한 성능을 달성한다.
• 프레임워크는 추론 중 연속적이고 실시간으로 파라미터 조정이 가능하여 상호작용 가능한 사용자 제어를 지원한다.
• t-SNE 시각화 결과, 다양한 파라미터 값에 대응하는 학습된 컨볼루션 가중치가 고차원 공간에서 선형 궤적을 따라 분포함을 확인하여 단순하고 구조화된 변환이 있음을 시사한다.
• 이 방법은 하나의 모델 내에서 여러 이미지 연산자와 여러 파라미터에 대한 공동 학습을 지원하여 강력한 일반화 능력과 확장성을 입증한다.
• 가중치 공간의 분석 결과, 다양한 연산자와 파라미터 값이 제약된 해석 가능한 부분공간으로 매핑됨을 확인하여, 다양한 작업 간에 공통된 인덕티브 바이어스가 존재함을 시사한다.
• 다양한 파라미터 값에 대해 재훈련하거나 여러 모델을 저장할 필요가 없어짐으로써 저장 및 훈련 비용을 절감한다.