[논문 리뷰] A General Decoupled Learning Framework for Parameterized Image Operators

Qingnan Fan, Dongdong Chen외 4명|arXiv (Cornell University)|2019. 07. 11.

Advanced Image Processing Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 필터링, 노이즈 제거, 초해상도 증강과 같은 이미지 연산자에서 다양한 파라미터 설정에 대해 딥 네ural 네트워크가 동적으로 가중치를 조정할 수 있도록 하는 분리 학습 프레임워크를 제안한다. 입력 파라미터에 기반해 기본 네트워크 가중치를 예측하는 경량 가중치 학습 네트워크를 훈련시켜, 계층별 가중치 적응을 통해 효율적이고 실시간으로 파라미터를 조정할 수 있으며, 이로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as parameterized image operators. However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decoupled learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. To accelerate the parameter tuning for practical scenarios, the proposed framework can be further extended to dynamically change the weights of only one single layer of the base network while sharing most computation cost. We demonstrate that this cheap parameter-tuning extension of the proposed decoupled learning framework even outperforms the state-of-the-art alternative approaches.

연구 동기 및 목표

• 이미지 연산자에서 단일 고정 파라미터 설정에 대해서만 훈련된 기존 딥 러닝 모델의 한계를 해결하기 위해.
• 재훈련 없이도 다양한 파라미터 설정에 대해 동적으로 다른 출력을 생성할 수 있도록 단일 신경망을 가능하게 하기 위해.
• 오직 한 개의 네트워크 계층만 업데이트함으로써 계산 비용을 줄이고 효율적이고 실시간으로 파라미터 조정을 수행할 수 있는 메커니즘 개발하기 위해.
• 공유된 파rameterized 연산자를 사용하여 다수의 이미지 처리 작업을 처리할 수 있는 통합 프레임워크 제공하기 위해.
• 학습된 가중치-파라미터 관계를 시각화하여 해석 가능성 확보하기 위해.

제안 방법

• 기본 네트워크의 가중치를 아키텍처에서 분리하기 위해, 입력 파라미터에 기반해 컨볼루션 가중치를 예측하는 별도의 가중치 학습 네트워크를 도입한다.
• 이미지 품질 지표(예: PSNR)를 최적화하는 공유 손실 함수를 사용하여 기본 네트워크와 가중치 학습 네트워크를 종단 간 훈련한다.
• 입력 파라미터에서 컨볼루션 커널 가중치로 매핑하기 위해 완전 연결 계층을 가중치 학습 네트워크로 사용하며, 이는 미리 정의되지 않은 파라미터 값 간 선형 보간을 가능하게 한다.
• 추론 중에 오직 한 계층의 가중치만 업데이트하도록 프레임워크를 확장하여 계산 비용을 크게 줄이고도 높은 성능을 유지한다.
• 커널 가중치가 학습된 기저 커널들의 선형 조합으로 표현되는 파라미터화된 컨볼루션 연산을 사용한다.
• 공통 아키텍처와 동적 파라미터 제어를 통해 에 bord링 필터링, 초해상도 증강, 노이즈 제거 등 다양한 이미지 연산자에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 파라미터화된 이미지 연산자의 여러 파라미터 설정에 대해 재훈련 없이 일반화할 수 있는 딥 러닝 모델은 가능한가?
• RQ2 경량이며 미분 가능한 네트워크가 실시간 파라미터 적응을 위해 기본 네트워크 가중치를 동적으로 예측할 수 있는가?
• RQ3 파라미터 값 간 가중치 공간에서의 선형 보간이 새로운 파라미터 설정에 대해 고성능 결과를 도출할 수 있는가?
• RQ4 오직 한 계층의 가중치만 업데이트하는 파라미터 조정 메커니즘은 전체 네트워크 재계산 수준의 성능을 달성할 수 있는가?
• RQ5 공유된 파라미터화된 연산자를 사용하여 다수의 이미지 처리 작업을 함께 학습할 수 있는가?

주요 결과

• 제안된 프레임워크는 단일 파라미터 값에 대해 특별히 훈련된 네트워크와 유사한 성능을 달성하며, 여러 구성으로 일반화되는 동안에도 성능이 유지된다.
• 이 프레임워크는 강력한 일반화 능력을 보이며, 가중치 공간에서의 선형 보간을 통해 새로운 파라미터 값에 대해 고성능 결과를 도출한다.
• 오직 한 계층만 업데이트하는 저비용 파라미터 조정 확장 기법이 PSNR와 시각적 품질 모두에서 최신 기술 수준의 방법들을 크게 앞서며 성능을 뛰어나게 한다.
• 가중치 학습 네트워크에 오직 하나의 완전 연결 계층만 존재해도 최적의 성능을 달성할 수 있어, 복잡도 증가가 성능 향상에 기여하지 않는다는 것을 시사한다.
• 학습된 가중치의 시각화 결과에서 이해할 수 있는 패턴을 확인할 수 있으며, 이는 다양한 파라미터 설정에서 기본 네트워크의 내부 동작 방식에 대한 통찰을 제공한다.
• 공통 아키텍처를 사용하여 다수의 이미지 처리 작업을 함께 학습할 수 있도록 프레임워크를 확장할 수 있으며, 강력한 확장성을 입증한다.